Ayah Jouhaux bekerja di sebuah pabrik korek api di Aubervilliers. Pendidikan dasarnya terhenti saat upah ayahnya putus akibat pemogokan. Ia bekerja di pabrik ini pada usia 16 dan segera menjadi bagian penting persatuan ini. Pada 1900, Jouhaux bergabung dengan gerakan pemogokan terhadap penggunaan fosfor putih yang membutakan ayahnya dan gonta-ganti pekerjaan hingga pengaruh serikat itu mendudukkannya kembali.
Pada 1906, ia dipilih oleh serikat setempat sebagai perwakilan untuk Confédération générale du travail, di mana kemampuannya menanjak melalui pangkat buruh terorganisasi. Pada 1909 ia menjadi bendahara sementara, dan segera setelah itu menjadi SekJen organisasi itu, yang dipegangnya hingga 1947. Tujuannya sebagai tokoh serikat dagang terkenal di gerakan pekerja masa awal itu — hari delapan jam, hak untuk perwakilan persatuan dan penawaran kolektif, dan hari libur balasan. Selama Front populaire, Persetujuan Matignon 1936, di mana ia adalah salah satu tokoh yang menandatanganinya, memberikan banyak hak ini kepada para buruh Prancis.
Pada tahun-tahun sebelum Perang Dunia II, Jouhaux mengorganisasi beberapa protes massal, dan organisasi yang dipimpinnya memprotes peperangan. Namun, saat perang dimulai, Jouhaux mendukung negerinya dan percaya bahwa kejayaan Jerman Nazi akan menghancurkan demokrasi di Eropa. Selama perang, ia ditahan dan dipenjara di kamp konsentrasi Buchenwald.
Setelah perang, Jouhaux berpisah dari CGT untuk membentuk CGT-FO yang beraliran sosial demokrat. Pada 1951, ia dianugerahi Hadiah Perdamaian Nobel.
Dalam konteks internasional, karyanya amat berarti dalam pendirian International Labour Organization (ILO), dan dipilih ke kedudukan tinggi dalam badan-badan dagang internasional, termasuk Federasi Serikat Dagang Internasional dan sanak pascaperangnya Federasi Serikat Dagang Dunia hingga badan itu terpecah.
