Инициатором его создания был офицер рейхсвера Теодор фон Хиппель, который ещё в конце 1920-х представил командованию концепцию создания небольших элитных подразделений, обученных саботажу и подрывной деятельности. Но главное — они должны были состоять из солдат, свободно владеющих иностранными языками, которые могли действовать в тылу врага, в том числе в форме его армии, разрушая линии связи, коммуникации и т. д. Однако эти предложения отвергли консервативные прусские офицеры, посчитавшие подобные действия недостойными.
После этого в 1935 фон Хиппель обратился к главе немецкой военной разведки (абвера) адмиралу Вильгельму Канарису, который и позволил амбициозному капитану воплотить свою мечту в жизнь, взяв его на службу во 2-й департамент абвера, занимавшийся диверсионной работой.