Noch in Deutschland wurde am 24. April 1942 unter der Tarnbezeichnung "Stab Anton" ein Oberkommando gebildet, das ab dem 22. Mai 1942 zunächst als "Küstenstab Asow" auftrat, bevor es am 7. Juli 1942 als Oberkommando der neuformierten "Heeresgruppe A" den südlichen Abschnitt der bisherigen Heeresgruppe Süd übernahm. Diese Heeresgruppe A wurde in der Folge im Kaukasus, am Kuban, auf der Krim und allgemein in der südlichen Ukraine eingesetzt. Am 30. März 1944 erfolgte eine Umbenennung in "Heeresgruppe Südukraine". Als solche wurde sie nach Rückzugsbewegungen im Zuge eines sowjetischen Großangriffs am 20. August 1944 in Bessarabien nahezu vernichtet und in der Folge nach weiterem Rückzug am 23. September 1944 in Siebenbürgen umbenannt in "Heeresgruppe Süd". Es folgten Kämpfe in Ungarn und Ende April/Anfang Mai 1945 in Österreich die Umbenennung in "Heeresgruppe Ostmark". Die Heeresgruppe Ostmark bestand noch bis zur Kapitulation.