Ларссон — воспитанник клуба «Эльфсборг». 15 марта 2010 года в матче против «Ефле» он дебютировал в Аллсвенскан лиге[2]. 22 марта в поединке против «Хальмстада» Юхан сделал «дубль», забив свои первые голы за команду[3]. В 2012 году он стал чемпионом страны, а спустя два года помог «Эльфсборгу» выиграть Кубок Швеции. В 2014 году Юхан был признан лучшим защитником Суперлиги.
В начале 2015 года Ларссон перешёл в датский «Брондбю». 22 февраля в матче против «Ольборга» он дебютировал в датской Суперлиге[4]. 15 марта в поединке против «Оденсе» Юхан забил свой первый гол за «Брондбю»[5].