Тренерская карьера Баумгартнера началась с должности ассистента главного тренера резервной команды «Ред Булл»[1]. Затем он занимал саму должность главного тренера резервной команды «Ред Булла» с 8 апреля 2011 года по 31 декабря 2011 года[2]. Потом он был назначен на должность главного тренера клуба «Пашинг», которую он занимал с 1 января 2012 по 4 сентября 2013 года[3]. 5 сентября 2013 года Баумгартнер, став наставником клуба «Санкт-Пёльтен»[4], привёл «Санкт-Пёльтен» к финалу Кубка Австрии в сезоне 2013/14[5], который позволил клубу квалифицироваться в Лигу Европы[6].
Аустрия Вена
27 мая 2014 года Баумгартнер был назначен главным тренером венской «Аустрии»[6]. 10 июня 2014 он провёл первую тренировку команды в этом качестве[7].
Маттерсбург
2 января 2017 года Баумгартнер был представлен как новый главный тренер «Маттерсбурга»[8]. В августе 2018 года он покинул клуб.
Рид
1 января 2019 года Геральд Баумгартнер возглавил австрийский «Рид» и стал спортивным директором клуба[9].