S-a înrolat ca matelot, în 1910, şi după trei ani de instrucţie, a devenit ofiţer în Marina germană.
În Primul Război Mondial, a fost trimis pe un crucişător în Mediterana, înainte de a fi transferat pe submarin în octombrie 1916. La 4 octombrie 1918 a fost capturat, fiind prizonier de război până în iulie 1919.
În 1935 i-a fost încredinţată conducerea unei nave modernizate. Au urmat, însă, o serie de dispute cu Hermann Goering, care nu dorea să completeze capitalul necesar spre a fi cheltuit pentru modernizarea acestei nave.
Karl Dönitz susţinea că avea nevoie de 1.000 de submarine pentru a putea câştiga un viitor război cu Marea Britanie, în 1939 avea în subordine 57.
La începutul celui de-Al Doilea Război Mondial, marina germană avea în dotare submarine tip 750-ton Type VII U.
Acestea s-au dovedit prea mici pentru a acoperi operaţiunile din Pacific, modele mai mari fiind introduse mai târziu.
Comandant
În ianuarie 1943, Adolf Hitler l-a numit pe Karl Dönitz în funcţia de comandant şef al Marinei germane, în locul lui Erich Raeder.
Între timp, Aliaţii introduseseră cu succes diverse strategii anti-submarine, ceea ce a inclus sistemul convoi, organizarea de patrule aviatice, îmbunătăţirea detectorilor anti-submarin.
În mai 1943, submarinele germane au fost forţate să se retragă din Atlantic. Karl Dönitz a dat avizul construirii, în 1944, a unui submarin îmbunătăţit semnificativ.
Lucrând împreună cu Albert Speer, ministrul forţelor armate, Germania a produs 42 de astfel de vase, pe fiecare lună, până în 1945.
Cu toate acestea, a fost prea târziu pentru a mai avea un impact asupra încheierii celui de-Al Doilea Război Mondial.
Hitler l-a ales pe Dönitz în funcţia de şef al statului, după sinuciderea sa la 30 aprilie 1945. După ce a format un nou guvern, Donitz a negociat predarea Germaniei la 8 mai 1945.
La procesul de la Nuremberg privind crimele de război, Karl Dönitz a fost găsit vinovat de crime de război, fiind condamnat la 10 ani de închisoare.
După eliberarea sa în octombrie 1956, şi-a scris autobiografia, intitulată Memoirs: Ten Years and Twenty Days (1959).