Мюллер — воспитанник клуба «Цюрих». 29 октября 2017 года в матче против «Санкт-Галлена» он впервые попал в заявку клуба[2]. В 2019 году стал игроком «Шаффхаузена». 20 июля в поединке против «Лозанны» Серж дебютировал в составе нового клуба[3]. 3 августа против клуба «Виль» он забил первый гол за «Шаффхаузен»[4].
Летом 2023 стал игроком дублёров «Фрайбург II»[5]. 6 августа против «Дуйсбурга» он дебютировал в третьей Бундеслиге[6]. В июне 2024 года на правах свободного агента перешёл в «Арау»[7]. 19 июля в поединке против «Туна» он дебютировал за новый клуб[8].