Após a conclusão de seu treinamento na Jagdfliegerschule (Escola de Pilotos de Caça, "Jupp" foi designado para servir como Unteroffi-zier junto ao 7./JG 52 (7º Staffel da JG 52) , a partir de 01 de março de 1940. Nesta unidade, Zwernemann participou da campanha da Blitzkrieg contra os Países Baixos e França. Sua primeira vitória vi ria em julho de 1940, quando abateu um Spitfire da RAF, no início da Batalha da Inglaterra.

Entretanto, como vários outros pilotos, a carreira de Zwernemann permaneceria estagnada por um período considerável. Em maio de 1941 ele participaria dos combates aéreos em torno da ilha de Cre-ta, durante a Operação Merkur, mas seria o início da invasão da URSS, em 22 de junho de 1941, que permitiria a Zwernemann se tornar um dos principais Experten da JG 52 e de toda a Frente Ori-ental.

Enfrentando um inimigo despreparado, mal treinado e pobremente equipado "Jupp" chegaria ao final do ano de 1941 com o crédito de 20 vitórias confirmadas, tendo sido condecorado com o Ehrenpokal

Finalmente, Josef "Jupp" Zwernemann foi condecorado com a Cruz de Cavaleiro da Cruz de Ferro em 23 de junho de 1942 - um ano após o iní cio da Operação Barbarossa - quando havia atingido a marca de 57 vitó- rias confirmadas. Mas ele continuaria envolvendo-se em violentos com-bates durante a ofensiva de verão conduzida pela Wehrmacht durante aquele ano, sendo extremamente bem sucedido. Durante o mês de se-tembro de 1942, Zwernemann derrubaria outros trinta aviões adversários e, no dia 01.10.1942 ele alcançaria suas vitórias de números 100 a 103, superando a marca "mágica" de cem abates.

Em razão de seu feito, Zwernemann se tornou o 141º soldado da Wehr-macht a ser condecorado com as Folhas de Carvalho da Cruz de Cava-leiro pelo próprio Adolf Hitler. Pouco tempo depois, no Ano Novo de 1943 "Jupp" foi promovido ao posto de Leutnant, sendo transferido para o 9./JG 52 (o lendário "Karaya-Staffel") em 15 de abril de 1943, quando já contava com 113 vitórias aéreas. Sua última vitória na Frente Oriental (a 117ª dele) foi alcançada em 07 de maio de 1943.

Nesta unidade, Zwernemann alcançaria suas últimas nove vitórias contra os adversários anglo-americanos que condu ziam a ofensiva de bombardeios contra as cidades alemãs Destas seis eram bombardeiros quadrimotores da USAF.

No dia 08 de abril de 1944, Zwernemann comandou os ca ças do 1./JG11 contra uma formação de bombardeiros B-24, escoltados por caças North American P-51 Mustangs na localidade de Gardelegen-Altmark. Um combate san-grento seguiu-se, sendo que os caças do 1º Staffel clama-ram 8 bombardeiros e seis caças abatidos, para a perda de 20 caças germânicos, 11 pilotos mortos e três feridos (total de baixas do Stab, Gruppen I e II da JG11).