「羅浮童子軍」(Rover Scouts) (50年代中改稱為「樂行童子軍」)早於1922年已在香港有活動,這些18歲以上,熱愛童子軍生活的年青人,於1940年8月在港島聶高信山(Mount Nicholson)舉行首次全港羅浮童子軍大會(Rover Moot)。
「第2次世界大戰」爆發時,一些童子軍領袖或年長的童子軍成員在各類民防單位工作,如在後備消防、後備警察、特務警察或在義勇軍中服役。他們在香港防衛戰中作出了貢獻,一些隊員甚至犧牲了生命。
日軍投降後,香港遍地殘垣,英國童子軍總會特別派遺了一隊為數5人的「國際童子軍支援服務隊」(Scout International Relief Service Team)來港,協助重建工作。其後童子軍運動再度復活。
總會於1946年4月28日在港島半山植物公園舉行了戰後首次全港童子軍聚會--聖佐治日會操(St. George's Day Parade),來自港九共672名各級童子軍和領袖,接受了軍政府總督菲士廷將軍(General Officer Commanding, Major General Festing)檢閱。
英國童子軍總會於1946年10月成立了「先進童軍」(Senior Scouts),至50年代中改稱為「深資童子軍」,參加年齡為15至18歲,而「童子軍」(Boy Scouts)的年齡仍維持11至18歲。
戰後得到軍部的幫助,撥出花園道近山頂纜車站的一塊土地建造新總部之用,由當年總會會長摩士爵士(Sir Arthur Morse)主持落成儀式,一所命名為「摩士小屋」(Morse Hut)的新總部於1949年11月12日正式啟用。