Мадсен — воспитанник клуба «Силькеборг». 10 декабря 2016 года в матче против «Люнгбю» он дебютировал в датской Суперлиге[3]. По итогам сезона 2018 года клуб вылетел из элиты, но игрок остался в команде. 31 марта 2019 года в поединке против «ХБ Кёге» Мадс забил свой первый гол за «Силькеборг»[4]. По итогам сезона он помог клубу вернуться в элиту. Летом 2020 года Мадсен перешёл в австрийскийЛАСК, подписав контракт на 4 года[5][6].