U Osnovnoj školi „Zmaj Jova Jovanović“ u Rumi je osnovana knjižnica 1872. godine. Iako je broj knjiga tada bio simboličan (samo 128 svezaka), njen kulturni i prosvetiteljski značaj za jednu tako malu sredinu kao što je Ruma, bio je veliki. Mali broj osnovnih škola se može pohvaliti članstvom u Matici srpskoj, a naša škola je postala član 1881, kako je zapisano u Letopisu škole. Iz godine u godinu povećavao se knjižni fond u školskoj knjižnici. Najveći broj knjiga nestao je bez traga za vreme Drugog svetskog rata, a ostao je manji broj starih i vrednih naslova (od najstarijih knjiga iz 19. veka sačuvano je samo 19 naslova).
Početkom 20. veka knjižni fond se uvećavao prilozima, darovima i nabavkom školske uprave.
Danas u školi ima preko 11000 knjiga i ostale bibliotečke građe. Školskim razvojnim planom iz 2004. godine, biblioteka je izmeštena u novi, veći prostor (140m²) i opremljena je novim nameštajem, kompjuterom i internet konekcijom. U okviru biblioteke je čitaonica u čijem fokusu je razvijanje čitalačkih interesovanja učenika.
Biblioteka je postala funkcionalna multimedijalna učionica sa višestrukom namenom. U njoj se realizuju pojedini časovi nastavnih predmeta, đačkog parlamenta, kao i sastanci školskih timova. Vrlo je pogodna za održavanje edukativnih seminara, sve vrste prezentacija namenjenih učenicima i nastavnicima, stručna usavršavanja nastavnika, edukaciju roditelja i za druge namene.
Bibliotečki fond je dobro organizovan. Školska lektira je sređena po razredima, a ostatak fonda po grupama UDK. Pristup knjizi je slobodan. Biblioteka poseduje program za automatizaciju poslovanja. Ministarstvo prosvete i nauke je obezbedilo priključak za internet.
U biblioteci radi bibliotekar sa položenim stručnim ispitom iz bibliotekarstva, sa punim radnim vremenom.
