Els orígens del bisbat de Cracòvia són vers el segle ix, herència de la missió enviada per sant Metodi per a un príncep del Vístula; d'aquest període es coneixen els noms dels bisbes Wiching, Prohor i Prokulf, possiblement de llengua i litúrgia greges, com més tard també ho serien els bisbes Lambert i Czesław.
La diòcesi llatina de Cracòvia va erigir-se al segle x, poc abans de l'any 1000, potser pel rei Miecislau I. La invasió bohèmia del 1039 comportà la destrucció dels arxius eclesiàstics, amb la conseqüència que els orígens de la diòcesi i els noms dels tres primers bisbes quedaren incerts o llegendaris. El primer bisbe conegut és Popon, sufragani de l'arquebisbe de Gniezno.
La importància de la seu de Cracòvia va créixer durant el segle xi, en particular gràcies als esdeveniments relatius amb el rei Boleslau II i el bisbe Estanislau i que acabarien amb la mort del darrer, ben aviat venerat com a màrtir. El 1172 l'autoritat del bisbe era tal que Gedko va poder deposar i exiliar el rei Miecislau III. De cert, la importància de Cracòvia estava íntimament lligada a la presència a la ciutat de la família reial polonesa; tot i que Gniezo encara era la seu primada polonesa i l'única seu metropolitana del país.
La primera cronologia dels bisbes va ser compilada el 1226; i la segona el 1347. Als seus orígens, la diòcesi comprenia les ciutats de Sandomierz i Lublin; així com tota la Petita Polònia. Entre 1443 i 1791 els bisbes de Cracòvia van ser, a més, ducs de Siewierz.
La fundació de la universitat el 1364 va donar gran renom tant a la ciutat com a la seu episcopal, esdevenint una de les més prestigioses i importants d'Europa, gràcies a l'obra de l'humanista i cardenalZbigniew Oleśnicki.
Els esdeveniments polítics i militars que van portar a les tres particions de Polònia també tindrien conseqüències per a la seu de Cracòvia. Després de la Primera Partició (1772), la diòcesi perdria el territori al sud del Vístula, territori amb el qual es formaria el bisbat de Tarnów. El 1790, gran part de territori de les regions de Kielce i Lublín van ser annexionats al bisbat de Chełm. Amb la Tercera Partició (1795), tot el territori diocesà va esdevenir part de l'imperi austríac: aquest determinà que la diòcesi de Cracòvia recuperés part de l'antic territori al sud del Vístula, en suprimir-se el bisbat de Tarnów (1805). Després del Congrés de Viena i de la creació de la República de Polònia, la diòcesi va ser de nou dividida i una altra vegada perdria els territoris al sud del Vístula, ara per crear el bisbat de Tyniec (1821).
Els canvis polítics van ser l'origen no només de les modificacions territorials ja esmentades, sinó que també es modificà la província eclesiàstica. Després de la Tercera Partició de Polònia, la seu metropolitana de Gniezno es trobava a Prússia; i per aquest motiu, els emperadors austríacs van moure fils per tal que la seu de Cracòvia no hagués de dependre d'un metropolità "estranger". Per això, el 19 d'agost de 1807, mitjançant la butllaQuoniam carissimus del Papa Pius VII passà a formar part de la província eclesiàstica de Leopoli. El 1818, després de les decisions del Congrés de Viena, Cracòvia tornà a canviar de metropolità, esdevenint sufragània de l'arquebisbat de Varsòvia (llavors part de l'Imperi Rus). Finalment el 1808 passà dependre directament de la Santa Seu.
A inicis del segle xx, la diòcesi comptava amb 850.000 catòlics, 4.000 protestants i 60.000 jueus, amb un total de 197 parròquies. L'emperador d'Àustria tenia el privilegi de nominació, després de consultar amb els bisbes de Galítsia.
En el transcurs del segle xx van haver diversos arquebisbes distingits. El cardenal Puzyna contribuí indirectament a l'elecció del Papa Pius X pel veto del govern austríac, del qual era ambaixador, vers el cardenal Mariano Rampolla del Tindaro. El govern del cardenal Sapieha va ser el més llarg de la història de la seu de Cracòvia, marcat per diversos moments difícils per la ciutat, com la I Guerra Mundial, l'ocupació hitleriana i la Segona Guerra Mundial i els primers anys del règim comunista.
Entre 1964 i 1978 la diòcesi va estar regida per Karol Józef Wojtyła, que seria elegit papa amb el nom de Joan Pau II. Cracòvia era la primera diòcesi no italiana de la qual el seu ordinari era elegit Papa després de 456 anys, la darrera havia estat Tortosa, quan el 1522 el seu arquebisbe va ser elegit Papa amb el nom d'Adrià VI.