Выпускник футбольной академии клуба «Андерлехт». В 1991 году дебютировал за команду в Жюпиле Лиге. Он сразу выиграл конкуренцию за место в основном составе, и по окончании сезона был признан Молодым футболистом года в Бельгии. Вместе с «Андерлехтом» он трижды выиграл чемпионат и стал обладателем Кубка Бельгии. За клуб провёл 180 матчей и забил 47 мячей.
В 1997 году перешёл в итальянский «Удинезе». В первом сезоне Валем редко появлялся на поле, но уже во втором выиграл конкуренцию и принял участие почти во всех матчах команды. В сезоне 1999/00 Йохан выступал на правах аренды за «Парму», в составе которой выиграл Суперкубок Италии. После возвращения в «Удинезе» он провёл за «зебр» ещё один сезон и вернулся на родину, приняв приглашение «Стандарда». В новом клубе он сразу стал одним из лидеров команды. После двух сезонов в Бельгии Валем вернулся в Италию, где по сезону отыграл за «Торино» и «Катанию». Летом 2005 года завершил карьеру футболиста.