На взрослом уровне Воссен дебютировал в сезоне 2006/07 в составе бельгийского «Генка», к которому присоединился в 2005 году. В своем первом чемпионате Бельгии по футболу Йелле сыграл восемь матчей и забил в них один гол. В сезонах 2007/08 и 2008/09 Воссен стал играть больше и провел соответственно 17 (3 гола) и 20 (4) матчей. Но его четвёртый сезон на взрослом уровне не задался, и после 3 безголевых игр Йелле отдали в аренду до конца сезона в «Серкль Брюгге», за который он сыграл довольно удачно: 17 игр и 6 голов в них.[3] Летом 2010 года он вернулся в «Генк».
1 сентября 2014 года перешёл на правах аренды в «Мидлсбро» с правом выкупа за 3 миллиона фунтов. Воссен дебютировал за «Мидлсбро» 13 сентября 2014 года в матче против клуба «Хаддерсфилд Таун» заменив Ли Томлина на 59-й минуте. Первые голи и свой первый хет-трик за «Мидлсбро» забил 6 декабря 2014 года в матче против клуба «Миллуолл». Этот матч закончился со счетом 5-1 в пользу «Мидлсбро». За сезон он провел 40 матчей во всех турнирах и забил 9 голов. По окончании сезона «Мидлсбро» не воспользовалось правом выкупа и Воссен вернулся обратно в «Генк».
6 июля 2015 года перешёл в «Бернли» за 3 500 000 миллиона евро. 8 августа 2015 года дебютировал за «Бернли» в матче против «Лидс Юнайтед». Сыграл только 4 матча за «Бернли», Воссен покинул команду.
30 августа 2015 года перешёл в «Брюгге». Контракт подписан сроком на 5 лет. Первый гол за «Брюгге» забил 20 сентября 2015 года в матче против «Васланд-Беверен».