Katolícky kostol a jeho pamiatky
V roku 1716 si katolícka cirkev postavila svoj kostol. Ten pravdepodobne vyhorel v roku 1829, t. j. v roku, kedy zhorela takmer celá Jelšava. Spomenutý požiar vypukol v nedeľu 26. júla 1829 popoludní o tretej hodine, keď sa končili popoludňajšie bohoslužby. Prvý plameň vyšľahol v Ševcovskej ulici v stodole gubárskeho cechmajstra Jána Števkoviča. Sotva sa podarilo uhasiť tento požiar, už sa ozvalo „horí" aj v stajniach, čo stáli v blízkosti mestského domu, a vzápätí šľahali plamene i zo Zvolenskej ulice. V priebehu pár hodín bola celá Jelšava v plameňoch. Zhorela celá Ševcovská, Zvolenská a Teplická ulica, Kút a spodný rad Mníšanskej ulice i stodoly, ktoré stáli poniže mesta. V tomto požiari zhorelo okolo 440 domov, starý katolícky kostol i s vežou a zvonicou, nový evanjelický kostol so školou a farou, už spomínaný Kostolec, mestský dom, stoličný dom pre vojsko. Rok po požiari vypukla na celom vtedajšom území Slovenska cholera. Práve v tomto období mala Jelšava najviac obyvateľov. V roku 1837 to bolo 4 075 obyvateľov.
Základný kameň súčasného kostola bol položený 24. septembra 1832 a dokončený bol 13. júna 1838.
Je zasvätený úcte apoštolov svätého Petra a Pavla. Kostol bol postavený podľa projektu Ing. Fridricha Wiinscha. Aby sa líšil od evanjelického kostola, z nariadenia samotného grófa Koháryho bol stavaný v zvláštnom empirickobasilickom slohu vo veľkých rozmeroch a s dvoma vežami kostola. I v tomto kostole sa nachádzajú cenné veci. Všetky tri oltáre, kazateľnicu i spovednicu vyhotovil umelecký rezbár z Bratislavy Brandl Anton Norman (1817 - 1893). Všetky tieto jeho práce sú vyhotovené v gréckom štýle (v rokoch 1837 - 1844 pôsobil ako profesor kreslenia v Trnave). V roku 1855 tieto cenné práce vysvätil biskup István Kotlárčik (narodený 1796, zomrel 1869 a od roku 1858 biskup v Rožňave). Pri malom oltári je obraz Klementíny z rodiny bývalého patróna Koháryho, na ktorom sú zachytené deti Koháryovcov. Chlapec je neskorší bulharský excár Ferdinand I., muránsky gróf. Obraz nachádzajúci sa pri krstiteľnici je zo 17. storočia. Dva rodinné erby sú pod chórom. Cennou pamiatkou je aj večná lampa z roku 1763. Lampu venoval cirkvi Mikuláš Koháry. Klasicistická krstiteľnica pochádza pravdepodobne zo staršieho kostola, ktorý v roku 1829 zhorel. Výmaľba je od Júliusa Adama z Rožňavy. Samotná krstiteľnica má baldachýnovú zadnú stenu, na ktorej visí obraz Krstu Krista z poslednej tretiny 18. storočia a zmajstroval ju J. L. Krackera (1717 - 1779). Jemu je pripisovaný aj voľný rokokový obraz Madony z konca 18. storočia. Na vonkajšej strane kostola bola v roku 1919 umiestnená pamätná tabuľa venovaná 51 obyvateľom Jelšavy, ktorí padli v prvej svetovej vojne.
Námestie republiky tvorí vzácna zástavba meštianskych radových domov. Niekdajším majetkom katolíckej cirkvi bola budova, ktorá stojí južne od katolíckeho kostola a ktorá pochádza z polovice 18. storočia. Jedná sa o budovu bývalej katolíckej modlitebne. Na čelnej strane tejto budovy je výrazná trojuholníková forma tvoriaca štít, v ktorej sa nachádza štukový motív "Božie oko". Zo začiatku 18. storočia pochádza budova katolíckej fary. Táto budova bola majetkom jelšavského richtára Titusa (1676, 1679, 1682, 1686, 1687 a 1694). Ku prestavbe došlo po požiari (1829). Vedľa fary sa nachádza poschodová budova, bývalá katolícka škola a špitál. Za touto budovou sa nachádza bývalé sídlo katolíckeho chudobinca.