Urodził się w dniu 4 lipca 1895 we wsi Rumunki Zaduskie (parafia Zaduszniki w gminie Wielgie). Jego rodzicami byli Józef i Małgorzata z domu Rzekońska. Bratem Józefa był Jan (ur. 1900).
W okresie Dwudziestolecia jako podoficer zawodowy pełnił służbę w Wojsku Polskim. W toku służby awansował do rangi sierżanta, który to stopień, jako podoficer 14 pułku piechoty z Włocławka, posiadał na dzień 14 sierpnia 1927.
Rozkazem organizacyjnym Nr 1 Dowództwa 14 pułku piechoty z dnia 1 kwietnia 1932 sierż. Józef Balcerowski otrzymał przydział służbowy do 2. kompanii strzeleckiej.
W okresie niemieckiej okupacji działał najprawdopodobniej w konspiracyjnej organizacji polityczno-wojskowej Ruch „Miecz i Pług”. Aresztowany przez hitlerowców.
W lipcu 1940 znajdował się w Lager V w Neusustrum – jednym z 15 obozów koncentracyjnych, które zostały założone w latach 1933-1945 na terenie Emsland (między październikiem 1940 a końcem 1942 w obozie tym przebywało co najmniej 1750 polskich więźniów, którzy byli wykorzystywani do ciężkich prac przymusowych). W okresie późniejszym znalazł się w ciężkim więzieniu karnym w Koronowie (więzienie to było jednym z najcięższych w okupowanej Polsce), w którym od 3 września 1942 był leczony na serce. Otrzymał numer więźnia 1023/42. Zmarł w koronowskim więzieniu 25 grudnia 1942 na niewydolność serca.
Symboliczny grób Józefa Balcerowskiego znajduje się na włocławskim cmentarzu komunalnym – sektor: 83, rząd: 8, grób: 163.
Żonaty z Kazimierą z domu Krzeszewską (ur. 23 października 1897 w Witkowie – parafia Zaduszniki w gminie Wielgie, zm. 6 kwietnia 1988), córką Jana i Julianny Łukaszewskiej. Ich dziećmi byli: Irena zamężna Parczewska (ur. 24 kwietnia 1917 we wsi Uklejewiec parafii Chełmica, zm. 20 stycznia 2005 w Krakowie – żona plutonowego cichociemnego Jana Parczewskiego), Benedykt (ur. 23 lipca 1919 w Kobrzyńcu powiat Sierpc, zm. 15 grudnia 1943 w Miejskiej Górce), Jan (ur. 28 maja 1922 w Płocku), Halina Maria (ur. 28 lipca 1927 we Włocławku) i Krystyna Danuta (ur. 21 grudnia 1929 we Włocławku).
Syn Benedykt w okresie niemieckiej okupacji pracował jako robotnik we Włocławku. Razem z bratem Janem działali w konspiracyjnym Ruchu „Miecz i Pług”. Aresztowany i w dniu 28 października 1942 skazany wyrokiem sądu w Poznaniu na 2 lata ciężkiego więzienia za przygotowywanie zdrady stanu. W trakcie procesu przetrzymywany był w więzieniu w Poznaniu (prawdopodobnie w Forcie VII). Następnie przebywał w obozie karno-śledczym w Żabikowie, a od 11 grudnia 1943 był więziony w klasztorze w Miejskiej Górce, w którym utworzono oddział więzienia w Rawiczu. Zmarł tamże dnia 15 grudnia 1943.
