Han var medlem av Horten bystyre 1975–1985, varaordfører 1979–1983, ordfører 1983–1985. Han var vararepresentant på Stortinget i perioden 1981 til 1985, før han ble fast representant. Kosmo var innvalgt på Stortinget for Vestfold i årene 1985 til 2005, og fra 2001 til 2005 var han stortingspresident. Han var forsvarsminister 1993–1997 og arbeids- og administrasjonsminister 2000–2001.
Han gikk av som statsråd 5. oktober 2001, og ikke med resten av regjeringen 19. oktober, fordi han skulle være valgbar til Stortingets presidentskap.[6] Sylvia Brustad bestyrte arbeids- og administrasjonssaker i denne perioden.[7]
I 1995, mens Kosmo var forsvarsminister, var han med på å ta avgjørelsen om organisering av Norsk Militær Tattoo slik det har vært siden. Han satt i organisasjonens Board of Protectors fra 2006 til 2014.[8]
Kosmo ble den 2. juli 2004 utnevnt til fylkesmann i Telemark. Han rakk ikke å tiltre fylkesmannsembetet før han høsten 2005 ble utnevnt til riksrevisor. Han ledet Riksrevisjonen i årene 2006–2013.
Ordener
Han mottok den 2. november 2005 Storkorset av St. Olavs Orden.[5] Utnevnelsen ble gitt for embetsfortjeneste som stortingspresident. Kosmo er den første stortingspresidenten i nyere tid som har mottatt ordenen. I 2005 mottok Kosmo storkorset av den svenske Nordstjerneordenen. Han ble i 2013 utnevnt til kommandør av den nederlandske Oranje-Nassau-ordenen.[9]
Familie
Hans svigerdatter Silvia Kristoffersen Kosmo[10] var fast møtende vararepresentant til Stortinget 2005–2009; også hun representerte Arbeiderpartiet.