Urodził się w dniu 10 marca 1890 w Muninie (powiat Jarosław) jako syn Jana i Tekli Pierożyńskiej.
Służył w armii austro-węgierskiej, w której przeszedł między innymi kurs w wiedeńskiej Szkole Zbrojmistrzów. Awansował do stopnia sierżanta. Odznaczony Krzyżem Wojskowym Karola.
Po upadku monarchii austro-węgierskiej służył w Wojsku Polskim – w 14 pułku piechoty. Po zakończeniu wojny polsko-bolszewickiej znalazł się z pułkiem w Zambrowie, a potem we Włocławku.
W okresie międzywojennym służył jako podoficer zawodowy w Wojsku Polskim. Na dni 21 kwietnia 1924 i 4 czerwca 1925 pełnił służbę w 14 pułku piechoty z Włocławka – w randze starszego majstra wojskowego (starszego sierżanta). Następnie przeniesiony do 61 pułku piechoty z Bydgoszczy, w której to jednostce został odnotowany w dniu 25 grudnia 1927. Z bydgoskiego pułku powrócił do służby we włocławskim 14 pułku piechoty, w którego szeregach został wykazany na dzień 24 czerwca 1928.
Rozkazem organizacyjnym Nr 1 Dowództwa 14 pułku piechoty z dnia 16 września 1930 starszy majster wojskowy Józef Gulin otrzymał przydział do personelu kwatermistrzostwa. Na mocy rozkazu organizacyjnego Nr 1 dowództwa włocławskiego pułku z dnia 1 kwietnia 1932 przydzielono go do kompanii administracyjnej. Rozkaz organizacyjny Nr 3 z 1 września 1933 ponownie nadał mu przydział do kompanii administracyjnej na stanowisko rusznikarza.
W 1937 odznaczony został Brązowym Krzyżem Zasługi – za zasługi w służbie wojskowej.
W sierpniu 1939 wyjechał wraz z częścią 14 pułku piechoty w okolice Jabłonowa, zabierając swój warsztat rusznikarski. Powrócił do Włocławka i w toku kampanii wrześniowej dotarł do Warszawy (zapewne wraz z Oddziałem Zbierania Nadwyżek 14 pułku piechoty). Po upadku stolicy powrócił do Włocławka. W roku 1940 został wraz z rodziną wyrzucony ze swego domu przy ulicy Żytniej, który zajął wyższy rangą gestapowiec. Przez pewien czas zamieszkiwali w domu przy ulicy Barskiej, użyczonym im przez Jakuba Buffi (byłego sierżanta 14 pp), który od momentu zajęcia Polski przez Niemców piastował stanowisko komisarza urzędowego (Amtskommisar) gminy Dobrzyń nad Wisłą. W okresie późniejszym Józef Gulin został przez Niemców zatrudniony w policyjnej rusznikarni.
W okresie okupacji niemieckiej starszy sierżant Józef Gulin działał w ruchu oporu. Już na przełomie października i listopada 1939 został członkiem włocławskiej grupy wchodzącej w skład pionu wojskowego organizacji konspiracyjnej „Grunwald”. Grupą tą kierował chor. Jan Zarębski, a znalazło się w niej wielu podoficerów zawodowych byłego 14 pułku piechoty. W sierpniu 1943 Józef Gulin znalazł się w kadrze Inspektoratu Rejonowego Włocławek Armii Krajowej i objął tam stanowisko oficera do spraw uzbrojenia – zbrojmistrza. Obok niego w kierownictwie inspektoratu znaleźli się podoficerowie zawodowi związani z 14 pp: chor. Jan Zarębski, st. sierż. Kazimierz Domeradzki, st. sierż. Antoni Jakubas, sierż. Stanisław Marynowicz, sierż. Władysław Winiarski, sierż. Kazimierz Wachowiak, plut. Wincenty Gołębiewski, plut. Stanisław Lewandowski i plut. Wojciech Chojnacki. Wraz z synem Zdzisławem ps. „Lin” działał również w Narodowych Siłach Zbrojnych.
Po II wojnie światowej Józef Gulin nadal mieszkał we Włocławku. Znalazł pracę jako rusznikarz w miejscowym Urzędzie Bezpieczeństwa Publicznego. Wkrótce zwolniony z UBP, zatrudnił się jako ślusarz w Kujawskiej Fabryce Manometrów. Pracował aż do przejścia na emeryturę. Zachorował na białaczkę i leczony był w łódzkim szpitalu, w którym zmarł 18 października 1952. Spoczywa na włocławskim cmentarzu komunalnym – sektor: 24, rząd: 11, grób: 288.
W dniu 19 listopada 1921 zawarł w parafii w Zambrowie związek małżeński z Janiną Wiaksa, córką Antoniego i Zofii Mieczkowskiej (ur. 16 października 1902 w Zambrowie, zm. 5 czerwca 1996 we Włocławku). Z ich związku narodziły się we Włocławku dzieci: córka Halina Maria (ur. 9 marca 1924, zm. 19 lutego 1968), syn Zdzisław Jan (ur. 14 maja 1925, zm. 2 listopada 2006) i syn Eugeniusz Józef (ur. 8 stycznia 1928, zm. 28 lutego 2021).
Starszy sierżant Józef Gulin odznaczony był:
- Brązowym Krzyżem Zasługi
- Medalem Dziesięciolecia Odzyskanej Niepodległości
- Medalem Pamiątkowym za Wojnę 1918-1921
- Brązowym Medalem za Długoletnią Służbę
- Krzyżem Wojskowym Karola (odznaczenie austro-węgierskie)
- Medalem Zasługi Wojskowej (odznaczenie austro-węgierskie)