Pemandangan dari Annaberg pada abad ke-17Penampakan kota AnnabergAnnaberg dari arah barat
Hutan lebat di daerah atas pegunungan Ore dulunya dihuni oleh petani asal Franconia pada abad ke-12 dan ke-13. Frohnau, Geyersdorf, dan Kleinrückerswalde—yang sekarang jadi bagian dari kota dan sudah tercatat sejak tahun 1397.
Pada tahun 1491, ditemukan cadangan perak, dan Annaberg pun berkembang di bawah naungan Georg dari Sachsen dan Barbara Jagiellon.[3] George dan Barbara mendirikan gereja terkenal Gereja St. Anne dan sebuah biara Fransiskan (dibubarkan pada tahun 1539), dan Barbara menyumbangkan relik dari Santa Anne ke gereja itu, yang kemudian menjadi tujuan ziarah regional.
Pada tahun 1561, Barbara Uthmann memperkenalkan kerajinan membuat sulaman dan renda di kota ini, dan kerajinan tersebut dikembangkan lebih lanjut pada tahun 1590-an oleh pengungsi asal Belgia yang melarikan diri dari kebijakan Fernando Álvarez de Toledo, gubernur di Kekaisaran Spanyol dan Belanda. Industrinya semakin berkembang pada abad ke-19 ketika Annaberg dan Buchholz dihubungkan dengan jalur kereta ke Chemnitz dan satu sama lain, dengan kedua pemukiman ini memiliki sekolah khusus untuk pembuatan renda. Dulunya, tambang di kota ini menghasilkan perak, timah, dan kobalt, tapi berhenti beroperasi sebelum Perang Dunia Pertama. Setelah penyatuan kembali Jerman di tahun 1989, beberapa tambang dipugar agar bisa dikunjungi turis.
Pada tahun 1945, dua kota Annaberg dan Buchholz bergabung jadi satu kota baru, Annaberg-Buchholz. Dari tahun 1952 sampai 1990, Annaberg-Buchholz menjadi bagian dari Bezirk Karl-Marx-Stadt di Jerman Timur.
Annaberg menjadi tujuan wisata dan resor ski. Pegunungan Ore disebut sebagai "Negeri Natal" dan terkenal dengan pasar natal serta patung ukiran khasnya. Annaberg punya satu gereja Katolik Roma dan tiga gereja Protestan, termasuk Gereja St. Anne, yang merupakan gereja terbesar sejenisnya di Saxony. Di Annaberg ada monumen publik untuk Martin Luther, matematikawan terkenal Adam Ries, dan Barbara Uthmann. Buchholz punya gereja Protestan bergaya Gotik dan monumen untuk Frederick sang bijaksana dan Otto von Bismarck. Annaberg juga dikenal karena kota tuanya yang bersejarah dan alun-alunnya; di rumah Markt 2, terlihat lambang kebesaran dari Apian-Bennewitz.
