Ia ditunjuk menggantikan Marsillam Simanjuntak. Pada masa kepemimpinannya beberapa dokumen Pembaruan Kejaksaan mulai disusun, seperti Cetak Biru Pembaruan Kejaksaan (hasil kerjasama Kejaksaan bersama KHN) dan dokumen pembaruan kejaksaan yang pada Law Summit II & III.
Masa jabatan M.A. Rachman sebagai Jaksa Agung berakhir pada 21 Oktober2004. Ia kemudian digantikan oleh Abdul Rahman Saleh.