Karl Koller nasceu em 22 de fevereiro de 1898 na cidade de Glonn, Oberbayern, Alemanha, e iniciou sua carreira militar durante a I Guerra Mundial, onde com o posto de Vizefeldwebel (equivalente Imperial do Unterfeldwebel), serviu como piloto durante aquele conflito, embora tenha sido capturado nos estágios finais do conflito.

Depois da rendição da Alemanha, Koller somente retornaria ao serviço militar em 01.07.1929 quando, aos 31 anos de idade, foi comissionado com o posto de Leutnant no Reichswehr e designado para servir junto ao Offizierskorps des Infanterie-Regiments 1 (Corpo de Oficiais do 1º Regimento de Infantaria). Com o ressurgi-mento da Luftwaffe, após a ascensão de Hitler ao poder, em 1933, Koller freqüentou a Luftkriegsakademie (Academia de Combate Aéreo).

Após a conclusão de sua reciclagem, ele foi designado para servir junto ao Oberkommando der Luftwaffe (OKL), onde permaneceria até 1945 e-xercendo várias funções administrativas. Em 10 de abril de 1942, en-quanto servia como Chef des Generalstabes der Luftflotte 3 (Chefe do Staff da 3ª Frota Aérea), o Oberst Karl Koller foi condecorado com a Cruz de Cavaleiro da Cruz de Ferro. Promovido a Generalmajor em 01.01.1943, Koller tornou-se, em outubro de 1943, Chef der Luftwaffenführungsstabes (Chefe de Gabinete do Esta do Maior da Luftwaffe), onde permaneceu até agosto de 1944. Promovi-do a General der Flieger em 01.08.1944, o auge de sua carreira adminis trativa viria em 12.11.1944, quando assumiu o comando do Estado- Mai or da Força Aérea, cargo que já havia sido ocupado por homens como Albert Kesselring e Hans Jeschonnek. Contudo, nessa função, ele entra ria freqüentemente em conflito com os líderes mais novos da Luftwaffe, notadamente Adolf Galland (General der Jagdflieger) e seus inspetores, Hannes Trautloft, Gunther Lützow, Werner Streib e outros, o que desen-cadearia o hoje chamado "motim dos Pilotos de Caça".

Independente desses fatos, Koller permaneceria nesta função até o fim da guerra, em 08.05.1945, quando foi capturado por forças americanas. Após sua libertação, em 1947, Koller assumiria a presidência da Associa- ção dos Soldados Alemães na Bavária.

O General der Flieger Karl Koller faleceu em 22 de dezembro de 1951, com apenas 53 anos de idade, sendo sepultado em sua cidade natal.