Sebelum memulai karier politik, Nelson menjadi pimpinan di perusahaan keluarga dan aktif di beberapa yayasan amal. Setelah itu, saat PD II ia menjadi Asisten Menteri Luar NegeriAmerika Serikat dan menjadi Koordinator Inter-American Affairs yang merupakan aliansi anti Nazi untuk wilayah Amerika Tengah dan Amerika Selatan. Setelah perang usai, ia memimpin badan penasihat Pembangunan Internasional, bagian dari Point Four Program Presiden Harry Truman. Kemudian setelah Dwight Eisenhower menjadi Presiden AS, Nelson diangkat sebagai ketua tim penasihat kepresidenan untuk organisasi pemerintahan, selanjutnya ia ditunjuk sebagai Wakil Menteri Kesehatan, Pendidikan dan Kesejahteraan.
Tahun 1956, Nelson Rockefeller memutuskan mundur dari pemerintah federal dan kembali ke karier politik di negara bagian New York. Ia terpilih sebagai Gubernur New York pada tahun 1958, mengalahkan kawannya sesama milioner, W. Averell Harriman. Ia menjabat gubernur mulai tahun 1959-1973. Banyak hal yang dilakukan gubernur ini, termasuk memperbaiki fasilitas umum, pensiun pegawai negeri, dan sistem transportasi.
Rockefeller juga berusaha maju dalam pencalonan presiden AS pada tahun 1960, 1964 dan 1968. Namun semua itu belum berhasil.
Terpilih Menjadi Wakil Presiden
Pada tahun 1974, ia dipilih sebagai wakil presiden AS ke 41 untuk mendampingi Gerald Ford yang sudah dilantik menjadi presiden menggantikan Richard Nixon. Presiden Nixon mengundurkan diri setelah dituduh terlibat skandal Watergate. Rockefeller dilantik pada tanggal 19 Desember 1974. Masa jabatannya berakhir dan meninggalkan dari gedung putih pada tanggal 20 Januari 1977.
Kehidupan Pribadi
Nelson Rockefeller menikah dua kali. Pertama, ia menikah dengan Mary Todhunter Clark, pada tahun 1930. Mereka dikaruniai 5 anak (Rodman, Anne, Steven dan kembar Michael dan Mary). Setelah itu mereka bercerai pada tahun 1962. Tahun 1963, Nelson menikah dengan Margaretha Fitler Murphy dan dikaruniai 2 putra (Nelson, Jr dan Mark).