Ce tireur norvégien parvient à s'imposer à cinq reprises lors des épreuves organisées à Anvers en 1920 et Paris en 1924. Il est médaillé d'or dans la discipline du tir au sanglier courant avec un ou deux projectiles, en individuel et par équipes. L'avènement de Lilloe-Olsen sonne le glas de la famille Swahn, des suédois qui avaient dominé la discipline jusque là.