Tahun 1854, Adolphus Frederic Feez membeli tanah di Kirribilli Point dengan harga 200 pound. Ia membangun rumah bergaya Gothic, sekarang dikenal sebagai Kirribilli House, sebuah rumah dengan dua atap runcing. Rumah ini memiliki atap curam, ukiran, dermaga dan jendela menghadap teluk. Properti ini diserahkan melalui banyak tangan pribadi hingga dibeli pada 1919 senilai 10.000 pound oleh Arthur Wigram Allen. Allen berencana untuk memisahkan tanah ini dan setelah banyak penentangan publik, Perdana Menteri Billy Hughes melanjutkan properti ini pada 1920.
Properti ini digunakan oleh staf Gubernur Jenderal hingga tahun 1930 ketika rumah ini disewakan. Tahun 1956 Kirribilli House ditetapkan sebagai kediaman resmi Perdana Menteri, ketika mereka perlu melaksanakan tugas resmi dan meningkatkan keramahtamahannya selama di Sydney. Kediaman resmi Perdana Menteri adalah The Lodge, Canberra. Kirribilli House terletak di North ShoreSydney Harbour, di kota pinggiranKirribilli, dengan pemandangan yang menakjubkan menghadap Sydney Harbour Bridge dan Sydney Opera House. Terletak di samping Kirribilli House adalah Admiralty House, yang merupakan kediaman Gubernur Jenderal Australia di Sydney.
Kirribilli sangat terkenal selama kepemimpinan Perdana Menteri John Howard (1996-2007), yang keluar dari tradisi ini dan menggunakan Kirribilli House sebagai kediaman utamanya.