Urodził się w dniu 2 lipca 1898 we Lwowie, jako syn Stanisława (inżyniera górnictwa) i Stanisławy. W 1908 ukończył w Krakowie czteroklasową szkołę powszechną, a w latach 1908-1916 uczył się w krakowskim gimnazjum im. króla Jana III Sobieskiego. 14 czerwca 1916 zdał egzamin maturalny po czym uczęszczał równolegle na Wydział Prawa i Administracji Uniwersytetu Jagiellońskiego oraz roczny kurs dla absolwentów szkół średnich przy Akademii Handlowej w Krakowie. Kurs ukończył uzyskując dyplom, natomiast studia prawnicze przerwało mu powołanie do armii austro-węgierskiej w dniu 16 lutego 1917.
Ukończył austriacką szkołę oficerów rezerwy w Opawie, uzyskując we wrześniu 1917 stopień starszego strzelca-kadeta. Skierowany do Galicyjskiego Pułku Piechoty Nr 13 noszącego przydomek „Krakowskie Dzieci”. Z pułkiem tym przebywał w Nowym Sączu i Ołomuńcu. Następnie w Bośniacko-Hercegowińskim Pułku Piechoty Nr 1, z którym stacjonował w Budapeszcie. W początkach stycznia 1918 skierowany na front w północnych Włoszech, służył jako zastępca dowódcy plutonu strzeleckiego awansując do stopnia plutonowego-kadeta. Podczas walk zachorował na malarię. Z frontu włoskiego powrócił 2 listopada 1918 i wstąpił ochotniczo do Wojska Polskiego.
Służył w Batalionie Akademickim Dowództwa Okręgu Generalnego w Krakowie na stanowisku zastępcy dowódcy plutonu (do końca stycznia 1919) oraz w I plutonie kompanii wysokogórskiej 2 pułku Strzelców Podhalańskich w Zakopanem, jako zastępca dowódcy plutonu (do końca lipca 1919). Z tym samym I plutonem kompanii wysokogórskiej 2 pSPodh. walczył na froncie wojny polsko-bolszewickiej jako jego dowódca (do końca listopada 1920). Następnie w 145 pułku Strzelców Kresowych (przemianowanym na 72 pułk piechoty) na stanowisku dowódcy plutonu artylerii (do początków lipca 1921) i 2 pułku Strzelców Podhalańskich w Sanoku jako dowódca plutonu strzeleckiego (do połowy sierpnia 1921). 10 maja 1920 mianowany podchorążym, a 19 stycznia 1921 promowany na stopień podporucznika. Następnie, od 16 sierpnia 1921 do 30 listopada 1923, pełnił służbę na stanowisku dowódcy kompanii w batalionach celnych, przemianowanych potem na bataliony straży granicznej: Nr 28 w Słobódce (do połowy grudnia 1922), Nr 17 w Landwarowie (do początków lipca 1923) i Nr 11 w Dziśnie.
30 listopada 1923 przeszedł do rezerwy i rozpoczął pracę jako urzędnik bankowy w Krakowie, a następnie (po ukończeniu jesienią 1924 kursu przy Uniwersytecie Wileńskim) jako instruktor oświaty pozaszkolnej powiatu dziśnieńskiego z miejscem urzędowania w mieście Głębokie. W roku 1923 posiadał przydział, jako podporucznik rezerwy, do 72 pułku piechoty (starszeństwo od dnia 1 czerwca 1919 i 1765. lokata). Rok później przydzielony był już do 79 pułku piechoty i jako podporucznik rezerwy zajmował 1687. lokatę wśród podporuczników rezerwowych piechoty.
21 grudnia 1924 na własną prośbę ponownie został przyjęty do służby czynnej w Wojsku Polskim i przydzielony jako oficer służby czynnej do 79 pułku piechoty w Słonimiu. W pułku tym zajmował stanowiska: dowódcy plutonu strzeleckiego, dowódcy plutonu łączności, dowódcy kompanii strzeleckiej, adiutanta pułku oraz oficera oświatowego i psychotechnicznego pułku. Awansowany do stopnia porucznika ze starszeństwem od dnia 1 grudnia 1924. W roku 1926 zdał przeprowadzony przy 20 Dywizji Piechoty egzamin przeszkolenia oficerów piechoty, a dwa lata później zajmował 7. lokatę w swoim starszeństwie wśród poruczników piechoty. Z dniem 18 września 1928 został przydzielony na XII-ty pięciomiesięczny kurs pułkowych oficerów łączności w Zegrzu, a w 1930 ukończył w Warszawie kurs psychotechniczny.
Służąc w 79 pułku piechoty zajmował w 1930 – 1579. lokatę łączną wśród poruczników piechoty (była to 5. lokata w starszeństwie), w 1932 – 4. lokatę w swoim starszeństwie, a na dzień 1 lipca 1933 – 965. lokatę łączną pośród poruczników korpusu piechoty.
Z dniem 14 marca 1934 rozpoczął służbę w 14 pułku piechoty z Włocławka, a na dzień 21 marca tegoż roku piastował stanowisko młodszego oficera w 2. kompanii 14 pp. W tym okresie pełnił jednocześnie nieetatową funkcję oficera psychotechnicznego pułku. W roku 1934 przejął od chor. Dymitra Leka obowiązki kierownika kina pułkowego. Na dni 4 i 17 września 1934 odnotowany został na stanowisku dowódcy 2. kompanii strzeleckiej w I batalionie 14 pp. Dowodzona przez niego kompania zajęła w 1934 roku III miejsce w zawodach strzeleckich 4 Dywizji Piechoty.
Do rangi kapitana piechoty został awansowany z 96. lokatą i starszeństwem od dnia 1 stycznia1935. Na dzień 1 lutego 1935 piastował stanowisko dowódcy plutonu łączności w 14 pp. W dniu 5 czerwca 1935 zajmował 2068. lokatę łączną pośród kapitanów piechoty. Do września 1938 dowodził plutonem łączności we włocławskim pułku. W grudniu 1936 odbył kurs informacyjno-radiowy w Warszawie, a w dniach od 27 września 1937 do 19 grudnia 1937 szkolił się na kursie radioszyfrowym w Oddziale II Sztabu Głównego.
Z dniem 26 września 1938 został przeniesiony do Biura Szyfrów Oddziału II Sztabu Głównego. Na dzień 23 marca 1939 zajmował 75. lokatę wśród kapitanów ze swojego starszeństwa i pełnił służbę na stanowisku kierownika referatu szyfrów Wydziału III Informacyjnego Oddziału II Sztabu Głównego. Podczas kampanii wrześniowej kpt. Holly pełnił służbę w Referacie Szyfrów I Rzutu Oddziału II Sztabu Naczelnego Wodza (był mobilizacyjnym kierownikiem tegoż referatu). Jego wrześniowa droga wiodła przez Warszawę, Brześć nad Bugiem, Włodzimierz Wołyński, Kołomyję i Kuty. W dniu 18 września 1939 przekroczył w Kutach granicę i został internowany w Rumunii.
Podczas swej służby w Wojsku Polskim działał w organizacjach społecznych: Polskim Czerwonym Krzyżu, Polskim Białym Krzyżu i Związku Przyjaciół Harcerstwa.
4 listopada 1939 uciekł z internowania i przedostał się do Francji – w dniu 4 grudnia 1939 znalazł się w Obozie Nr 3 w Lille i otrzymał przydział do 3 pułku Grenadierów Śląskich. W maju 1940 (w randze kapitana) dowodził 11. kompanią 3 batalionu grenadierów w 3 pułku Grenadierów Śląskich 1 Dywizji Grenadierów. Wskutek wyczerpania fizycznego został z dniem 17 czerwca 1940 zdjęty z dowodzenia. Do początków lipca 1940 przedzierał się w kierunku granicy szwajcarskiej. 5 lipca 1940 internowany w Szwajcarii – podczas internowania pełnił funkcję dowódcy kompanii i batalionu w 2 Dywizji Strzelców Pieszych. W roku 1943 ukończył trzymiesięczny kurs dowódców batalionów zorganizowany przy internowanej 2 Dywizji. Od 13 czerwca 1945 w Obozie Nr 3 Wojska Polskiego w Lille we Francji, początkowo jako dowódca kompanii i batalionu, a od 16 stycznia 1946 na leczeniu. W drugiej połowie lipca 1947 przebywał na terenie Anglii celem repatriacji do kraju.
Po wojnie powrócił do Polski w dniu 3 sierpnia 1947 i zgłosił się w urzędzie repatriacyjnym w Gdańsku-Wrzeszczu. 14 sierpnia 1947 zarejestrował się w warszawskiej Rejonowej Komendzie Uzupełnień. Jako przedwojenny oficer miał trudności ze znalezieniem pracy, w końcu został zatrudniony jako magazynier. Dorabiał udzielając korepetycji z języków: angielskiego, francuskiego i niemieckiego.
Karol Holly zmarł w dniu 29 maja 1991 w Warszawie i spoczywa na Cmentarzu Wojskowym na Powązkach (kwatera: C 30, rząd: X, grób: 31). Pośmiertnie awansowany został do stopnia majora.
Żoną Karola Holly była Izabela z domu Słonecka (ur. 1904), która w okresie jego służby w 14 pułku piechoty działała we włocławskim kole Rodzin Wojskowych. Z ich związku narodził się syn Ryszard (1931-1999).
Kapitan Karol Holly odznaczony był:
- Srebrnym Krzyżem Zasługi (1938)
- Medalem Dziesięciolecia Odzyskanej Niepodległości (1928)
- Medalem Pamiątkowym za Wojnę 1918-1921 (1928)
- Srebrnym Medalem za Długoletnią Służbę (1938)
- Brązowym Medalem za Długoletnią Służbę (1938)
- Medalem Wojny 1939–1945 (1947)
- Medalem „Za udział w wojnie obronnej 1939”