Olsen, der für den Lillehammer Skiklub startet, lief im Februar 2004 in Hommelvik seine ersten Rennen im Continental-Cup. Dort belegte er den 82. Platz über 10 km klassisch und den 73. Rang über 15 km Freistil. Bei den Nordischen Junioren-Skiweltmeisterschaften 2006 in Kranj gewann er die Goldmedaille mit der Staffel.[1] Zudem wurde er dort Achter über 10 km klassisch und Siebter im Skiathlon. Im folgenden Jahr holte er bei den Nordischen Junioren-Skiweltmeisterschaften in Tarvisio die Goldmedaille im Skiathlon. Sein erstes von insgesamt drei Weltcuprennen absolvierte er im März 2009 in Trondheim. Er kam dabei auf den 22. Platz im 50-km-Massenstartrennen und holte damit seine ersten und einzigen Weltcuppunkte. In der Saison 2009/10 erreichte er mit vier Top-Zehn-Platzierungen, darunter Platz drei über 15 km klassisch in Åsarna, den zehnten Platz in der Gesamtwertung des Scandinavian Cups. Bei den U23-Weltmeisterschaften 2010 in Hinterzarten errang er den neunten Platz über 15 km klassisch.