Urodził się w dniu 4 lipca 1895 we wsi Rumunki Zaduskie (parafia Zaduszniki w gminie Wielgie). Jego rodzicami byli Józef i Małgorzata z domu Rzekońska. Bratem Józefa był Jan (ur. 1900).
W okresie Dwudziestolecia jako podoficer zawodowy pełnił służbę w Wojsku Polskim. W toku służby awansował do rangi sierżanta, który to stopień, jako podoficer 14 pułku piechoty z Włocławka, posiadał na dzień 14 sierpnia 1927.
Rozkazem organizacyjnym Nr 1 Dowództwa 14 pułku piechoty z dnia 1 kwietnia 1932 sierż. Józef Balcerowski otrzymał przydział służbowy do 2. kompanii strzeleckiej.
W lipcu 1940 znajdował się w Lager V w Neusustrum – jednym z 15 obozów koncentracyjnych, które zostały założone w latach 1933-1945 na terenie Emsland (między październikiem 1940 a końcem 1942 w obozie tym przebywało co najmniej 1750 polskich więźniów, którzy byli wykorzystywani do ciężkich prac przymusowych). W okresie późniejszym znalazł się w ciężkim więzieniu karnym w Koronowie, w którym od 3 września 1942 był leczony na serce. Zmarł w koronowskim więzieniu 25 grudnia 1942 na niewydolność serca.
Symboliczny grób Józefa Balcerowskiego znajduje się na włocławskim cmentarzu komunalnym – sektor: 83, rząd: 8, grób: 163.
Żonaty z Kazimierą z domu Krzeszewską (ur. 23 października 1897 w Witkowie – parafia Zaduszniki w gminie Wielgie, zm. 6 kwietnia 1988 w Gdańsku), córką Jana i Julianny Łukaszewskiej. Ich dziećmi byli: Benedykt (ur. 23 lipca 1919 w Kobrzyńcu powiat Sierpc, zm. 15 grudnia 1943 w Rawiczu), Jan (ur. 28 maja 1922 w Płocku), Halina Maria (ur. 28 lipca 1927 we Włocławku) i Krystyna Danuta (ur. 21 grudnia 1929 we Włocławku). Syn Benedykt w okresie niemieckiej okupacji pracował jako robotnik we Włocławku. W dniu 28 października 1942 został skazany wyrokiem sądu w Poznaniu na 2 lata ciężkiego więzienia za przygotowywanie zdrady stanu. W trakcie procesu przetrzymywany był w obozie karno-śledczym w Żabikowie, a od 11 grudnia 1943 w więzieniu w Rawiczu. Zmarł w rawickim więzieniu 15 grudnia 1943.
