Мулумбу — воспитанник французского клуба «Пари Сен-Жермен», за который он играл в 2004—2009 годах. В сезоне 2007/08 отдавался в аренду в клуб «Амьен».
1 февраля 2009 года за 450 тысяч евро перешёл в английский клуб «Вест Бромвич Альбион», заключив однолетний контракт[3]. 11 апреля в матче против «Портсмута» дебютировал в английской Премьер-лиге[4]. В 2010 году помог «дроздам» вернуться в Премьер-Лигу. А уже 23 октября в матче против «Фулхэма» забил первый гол в чемпионате Англии[5]. В этом сезоне Мулумбу был признан лучшим игроком года по мнению фанатов, 25 июля 2011 года подписал новый контракт на 4 года с правом продления на 1 год[6].
1 июля 2015 года перешёл в «Норвич Сити»[7]. Но уже 3 августа в товарищеском матче против «Брентфорда» получил серьёзное повреждение плюсны, таким образом пропустил большую часть матчей первого круга[8].
В 2018 году Мулумбу перешёл в шотландский «Селтик».