Dibentuk empat tahun setelah bubarnya mantan band Finn dan Kubler, Lifter Puller, The Hold Steady merilis album perdana Almost Killed Me pada tahun 2004. Mereka menjadi terkenal dengan merilis album studio ketiga mereka, Boys and Girls in America, pada tahun 2006. Pada tahun 2010, pemain keyboard dan multi-instrumentalis Franz Nicolay meninggalkan band sebelum rekaman album studio kelima mereka, Heaven Is Whatever (2010). Selama tur band berikutnya, band ini menjadi lima bagian sekali lagi dengan penambahan gitaris Steve Selvidge.[2] Band ini merilis LP keenam mereka, Teeth Dreams, pada tanggal 25 Maret 2014.
Nicolay bergabung kembali dengan band tersebut pada tanggal 4 Mei 2016, dan sejak saat itu band tersebut telah menggelar beberapa konser residensi di AS, Britania Raya, dan Australia. Bertepatan dengan setiap acara, The Hold Steady merilis singel-singel yang berdiri sendiri, yang menandai materi rekaman pertama dari enam personel tersebut. Bekerja sama dengan produser Josh Kaufman, band tersebut merilis album ketujuh mereka, Thrashing Thru the Passion, pada tahun 2019, diikuti oleh Open Door Policy pada tahun 2021. The Price of Progress dirilis pada tahun 2023, yang juga diproduksi oleh Kaufman.
