1978년 대통령 긴급조치 9호 위반과 1980년 5.17계엄령 위반으로 구속되면서 제적과 복학을 반복했다. 징역형이 확정되어 수형 생활을 하게 되면서 병역이 면제되었다. 제정구 의원을 정치적 스승으로 모셨다. 1991년 야권 지도자였던 김대중이 재야세력과 연합하면서 창당한 민주당에 제1회 전국동시지방선거를 앞둔 1995년 입당했으며 1996년에 국민통합추진위원회(통추) 조직위 부위원장을 지냈다.
1997년 대한민국 제15대 대통령 선거를 앞두고 자신이 소속된 민주당이 당시 집권 여당이었던 신한국당과 합당으로 인하여 신설된 한나라당 소속으로 집권당 당원이 되었으나 한달 후 있었던 선거에서 사상 최초의 선거에 의한 정권 교체가 이루어지면서 다시 야당 소속이 되어 2000년에 있었던 제16대 국회의원 선거에서 경기도 군포 지역구 한나라당 후보로 입후보하여 국회의원에 당선되었다.
국민통합추진회의에서 함께 했던 노무현 후보가 제16대대통령에 취임한 이후 한나라당을 탈당해 지역구도 극복을 위해 신당 창당을 준비하면서 열린우리당 창당에 참여했다. 2004년, 2008년 연속으로 국회의원에 당선되었다.
수도권에서 3선 국회의원을 했던 김부겸은 2012년 제19대 국회의원 선거에서 수성구 갑으로 지역구로 바꾸어 출마했으나 40.42%의 득표율로 낙선했고 대구광역시장 후보로 출마했던 2014년 지방선거에서 40.33%의 득표율로 낙선하였다.
하지만 2016년에 치러진 제20대 국회의원 선거에서 다시 도전한 수성구 갑에서 62.3% 득표율로 국회의원에 당선되었다. 대구에서 민주당계 후보가 당선된 것은 신도환 국회의원 이후 31년만이다.
2017년 6월 16일 문재인 정부의 초대 행정안전부 장관으로 임명되어 2019년 4월 5일까지 재직하였다.
2021년 4월 15일 문재인 정부의 세번째 국무총리로 내정되어, 문재인 정부의 임기가 종료될 때까지 대한민국의 제 47대 국무총리로 재직하였다. 2022년5월 10일 제 20대 대통령으로 윤석열이 취임한 후, 정계에서도 공식적으로 은퇴하였다.[2]
1977년 11월 서울대학교 학내에서 유신 헌법에 반대하는 시위에 가담했다가 대통령 긴급조치 9호 위반 혐의로 기소되어[3] 1978년 5월 12일 징역 1년 자격정지 1년을 선고받았으며, 1980년 2월 29일 일반복권되었다.[4] 대통령 긴급조치 9호가 2013년 3월 헌법재판소에서 "헌법상 보장된 국민의 기본권을 지나치게 제한한다"며 위헌 결정을 하자[3]재심 청구를 하여 2018년 8월 24일 서울고등법원 형사11부(이영진 부장판사)는 "판결받은 죄목이 헌법에 위반되어 무효이므로 죄가 되지 않는다"면서 무죄를 선고하였다.
간첩 접촉 후 불고지 및 자금수수
1988년 국회의원 선거 후보자로 출마할 때부터 간첩 이선실을 알게 된 김부겸은 선거 자금
을 수수하였다.[5]
1993년 2월 22일 국가보안법위반(기타) 죄로 징역 1년형의 집행유예 2년, 자격정지 1년을 선고 받았으며 1995년 8월 15일 특별복권 되었다.[4]