Közkönyvtárát Esztergom Helischer József (1779–1844) városi tanácsnoknak köszönheti, aki az 1844. évi hagyatéki rendeletében 2538 kötetből, valamint több kéziratból, térképből és néhány ősnyomtatványból álló gyűjteményét a városra hagyta. Emellett 3000 váltó forintot is biztosított a könyvtár gyarapítására.
Az alapítványi könyvtár később Kiss Mihály városi jegyző és Lőrinczy Rezső városi főorvos hagyatékával gyarapodott. Történtek vásárlások is.
Mindezeket a szabad királyi város képviselőtestületének 1905. augusztus 28. napján tartott közgyűlésén intézményesítették „könyvtáralap” címen, mely egy Városi Nyilvános Könyvtár céljaira szolgált.
Ezt államosította 1950-ben a Vallás és Közoktatásügyi Minisztérium rendelete alapján az Országos Könyvtári Központ.
1951. május 1-jén, új szervezeti keretek között megnyílt a Városi Könyvtár a Magyar Király Szállodában.
A városi könyvtár állományának alapját nem a hagyatéki könyvtár adta, hanem az Országos Központi Könyvtár által, a főúri kastélyokból, az egyházi intézményekből, egyletekből, egyesületekből és más intézményekből összegyűjtött és az ellátó központok által „leosztott” könyvek. Így a Városi Könyvtár állománya 1951-ben 1212 kötet volt, míg 1952-re már 4421, 1961-ben 15959.
1961-ben hozott határozatot a városi tanács egy új könyvtár megépítésére. Az akkor modernnek számító épület Tóth Dezső építész tervei alapján készült el a Prímás szigeten. Az átadására 1967. november 7-én került sor. Az 550 m2-es könyvtár 48 000 kötet befogadására épült.
Az intézmény 1971. szeptember 26-án vette fel Babits Mihály nevét. Az állomány ekkor 36 662 kötetből állt. 2005. január 1-től Helischer József Városi Könyvtár néven működik, állománya közel 90000 kötet.
2007 júliusában a könyvtár a Dobó Katalin Gimnázium épületébe, az addigi iskolai könyvtár helyére költözött, gyermekkönyvtára pedig a József Attila Általános Iskola egy tantermébe. Ugyanebben az évben 2007. december 17-én a könyvtár régi, 40 éves épületét lebontották.