Юханссон участвовал во внеочередных олимпийских играх 1906 в Афинах в трёх видах спорта. Он стал шестым в прыжке с вышки, восьмым в плавании на 100 метров вольным стилем и 19-м в прыжкам в длину с места.
На Играх 1908 в Лондоне Юханссон стал олимпийский чемпионом в прыжках с вышки, победив во всех этапах соревнования. Также он занял второе место в плавании на 200 метров брассом в первом раунде с результатом 3:21,2.
На Играх 1912 в Стокгольме Юханссон участвовал в прыжках с вышки и простых прыжках с вышки. Победив в предварительных раундах обоих соревнований, в финале он стал четвёртым и вторым соответственно.