На Играх 1908 года в Лондоне Ольсен участвовал в командном первенстве, в котором его сборная заняла второе место. Он также соревновался в индивидуальном соревновании, но его точное место и результат неизвестны.
Через четыре года он выступал за норвежскую сборную на Олимпиаде 1912 года в Стокгольме. В соревновании по шведской системе его команда заняла третье место.