Urodził się w dniu 25 lutego 1899 w Wiązownicy (powiat Jarosław) jako syn Filipa i Ludwiki Wysockiej. Ochrzczony został 5 marca tegoż roku w parafii pw. św. Walentego i Narodzenia NMP w Wiązownicy. Jego rodzeństwem byli: Katarzyna (ur. 28 listopada 1894, zm. 31 stycznia 1895), Rozalia (ur. 19 maja 1896, zm. 16 października 1904) i Jan (ur. 3 lipca 1901, zm. 23 listopada 1927). W młodości pracował na roli.
Po zakończeniu wojny polsko-bolszewickiej przybył wraz z 14 pułkiem piechoty do Włocławka, gdzie się osiedlił. Obrał karierę podoficera zawodowego – na początku stycznia 1923 posiadał już stopień plutonowego. Jego jednostką macierzystą został włocławski pułk (14 pp). W toku służby awansował do rangi sierżanta (w stopniu tym został odnotowany w dniu 29 listopada 1928).
Rozkazem organizacyjnym Nr 1 Dowództwa 14 pułku piechoty z dnia 16 września 1930 sierżant Józef Prymon otrzymał przydział na stanowisko instruktora w 3. kompanii strzeleckiej, którą dowodził wówczas porucznik Józef Bańczak. Na mocy rozkazu organizacyjnego Nr 1 dowództwa włocławskiego pułku z dnia 1 kwietnia 1932 przydzielono go do 6. kompanii strzeleckiej, a rozkaz organizacyjny Nr 3 z 1 września 1933 nadał mu przydział do 5. kompanii strzeleckiej.
W okresie hitlerowskiej okupacji wywieziony został na roboty przymusowe do Niemiec. Od 23 grudnia 1940 do 19 marca 1941 pracował w Rendsburgu. W dniu 19 marca 1941 skreślony z rejestru miejscowego Urzędu Pracy i skierowany do Lager Osterrönfeld koło Rendsburga, gdzie zatrudniono go w firmie Claus Rohwer. Od 6 września 1944 do 6 grudnia 1944 przebywał w Lager Wedel. Po odzyskaniu wolności leczony w sanatorium Osterrönfeld od 11 do 13 lipca 1945. Powrócił do Polski.
W okresie powojennym mieszkał we Włocławku. Znalazł zatrudnienie jako pracownik umysłowy – urzędnik, potem pracował jako robotnik.
Zmarł 22 marca 1976 we Włocławku i spoczywa na tamtejszym cmentarzu komunalnym – sektor: 35, rząd: 2, grób: 42.
W dniu 22 lipca 1922 we włocławskiej parafii pw. św. Jana zawarł związek małżeński z Marianną Fontasiewicz, córką Konstantego i Michaliny Fijałkowskiej (ur. 16 marca 1901 w Zaborowie Starym – powiat Gostynin, zm. 1 listopada 1958 we Włocławku). We Włocławku przyszły na świat ich dzieci: Krystyna (ur. 3 lutego 1924), Czesław Szymon (zm. 28 listopada 1928 w wieku 2 lat i 4 miesięcy), Mieczysław Zygmunt (zm. 13 czerwca 1929 w wieku półtora roku), Jadwiga Michalina (ur. 26 sierpnia 1929), Konstanty Filip (ur. 11 listopada 1931), Maria Teresa (ur. 10 sierpnia 1933), Anna Kazimiera (ur. 4 marca 1935), Janina Emilia (ur. 9 października 1936), Danuta Mirosława (ur. 12 lutego 1939) i Wanda Franciszka (ur. 9 marca 1947, zm. 5 października 1947).
Drugą żoną Józefa Prymona została Stanisława Kamińska (ur. 20 grudnia 1912, zm. 10 listopada 1989 we Włocławku).
