Dari tahun 1952 hingga 1957, Rau adalah anggota Partai Rakyat Seluruh Jerman yang dikenal menginginkan penyatuan Jerman. Pada tahun 1958, ia bergabung dengan Partai Sosial Demokratik Jerman (SPD) cabang Wuppertal. Ia menjadi wakil ketua partai SDP di Wuppertal, dan belakangan terpilih sebagai anggota Dewan Kota (1964-1978), menjabat sebagai ketua kelompok SPD (1964-1967) dan belakangan menjadi wali kota (1969-1970).
Pada 1967, Rau menjadi ketua umum faksi SPD di parlemen (Landtag) dan tiga tahun kemudian menjadi Menteri Ilmu Pengetahuan dan Pendidikan. Dalam jabatan tersebut ia banyak melakukan langkah reformasi, di antaranya mendirikan lima universitas di berbagai tempat dan memulai program kuliah jarak jauh pertama di Jerman.
Pada 1977, ia terpilih sebagai Ketua SPD di Nordrhein-Westfalen dan setahun kemudian menjadi Perdana Menteri negara bagian tersebut. Ia menjabat selama dua puluh tahun. Pada tahun 1994, Rau mencalonkan diri sebagai Presiden namun dikalahkan Roman Herzog. Empat tahun kemudian ia mundur dari jabatannya sebagai Ketua Umum SPD serta Perdana Menteri Nordrhein-Westfalen dan pada 23 Mei1999 dilantik sebagai Presiden Jerman. Jabatannya berakhir pada 1 Juli 2004.
Rau meninggal dunia pada 27 Januari 2006 setelah lama mengidap penyakit jantung. Ia mempunyai istri bernama Christina (menikah pada tahun 1982) dan mempunyai tiga orang anak.
.svg){kind=small}
