Является воспитанником «Тулинге», где выступал за молодёжную команду клуба. В 2019 году провёл два матча за основной состав клуба в третьем шведском дивизионе. Затем присоединился к юношеской команде «Хаммарбю»[1]. В её составе в сентябре 2021 года принял участие в матче юношеской лиги УЕФА против шотландского «Рейнджерс»[2]. Позднее той же осенью получил травму лодыжки, вследствие чего был вынужден пропустить 18 месяцев[1]. С лета 2023 года тренируется с основной командой «Хаммарбю». 3 июля впервые попал в заявку на официальный матч против «Эльфсборга»[1]. В этой же игре Рафферти дебютировал в чемпионате Швеции, появившись на поле на 85-й минуте вместо Аугуста Миккельсена[3].