Пантович — воспитанник немецкого клуба «Бавария». Для получения игровой практики Милош выступал за команду дублёров. 17 октября 2015 года в матче против «Вердера» он дебютировал в Бундеслиге за основной состав[2]. В 2016 году Милош стал чемпионом Германии, а через года стал обладателем Суперкубка страны. Летом 2018 года контракт Пантовича закончился и он на правах свободного агента перешёл в «Бохум»[3].