Во время всемирного экономического кризиса, когда дела у нацистов пошли в гору, карьера Груббера подошла к концу. Борьба за господство в нацистской партии никогда не прекращалось. Социал-революционеры во главе с Отто Штрассером открыто выступили против Гитлера и потерпели поражение. Старший товарищ Грубера шеф СА Пфеффер фон Саломон после неудавшегося восстания берлинского СА был смещен с должности. На его место Гитлер назначил Эрнста Рема, который до этого момента два года проработал военным советником в Боливии. Свежеиспеченный глава штурмовиков не захотел долго терпеть самостоятельность Гитлерюгенда и потребовал подчинить ему молодежную организацию. Гитлер приказом от 27 апреля 1931 года выполнил его требование. Все ячейки Гитлерюгенда на местах перешли в распоряжение соответствующих отрядов СА. Под предлогом улучшения контроля за деятельностью молодежной организации штаб Гитлерюгенда был переведен из провинциального Плауэна в Мюнхен поближе к партийной верхушке. Шансы Шираха на победу возросли. Теперь он открыто агитировал против Грубера: «Грубер был вполне пригоден, пока Гитлерюгенд был чисто провинциальной организацией. Сейчас, когда надо решать задачи в масштабе всей страны, его ограниченность и недальновидность очевидна. Мы обязаны исключительно Грубберу тем, что националистические молодежные организации до сих пор не объединились под знаменем Гитлерюгенда».

Для своих интриг Ширах нашел твердую поддержку в лице нового шефа штурмовиков. С ним у него установились почти дружеские отношения. В конце концов Ширах признался Гитлеру в своих стремлениях руководить Гитлерюгендом. Гитлер ответил: «Ширах, не смешите меня. Вы хотите заниматься этими детьми?» И все же Шираху удалось переубедить своего покровителя: «Тогда я сказал ему: „Я создам самую большую молодежную организацию в истории Германии“. Эти слова произвели впечатление. Гитлер назначил 30 октября 1931 года Бальдура фон Шираха „райхсюгендфюрером“ НСДАП и подчинил ему Гитлерюгенд, студенческий и школьный национал-социалистические союзы.

Члены нацистской партии настороженно отнеслись к выходцу из аристократии. Молодые гитлеровцы «первого призыва» не видели в Ширахе человека, который соответствовал бы их представлениям о молодежном вожаке рейха. «В Бальдуре фон Ширахе было на наш взгляд слишком много от барона, а его американское родство и благородная приставка „фон“ не располагали к доверию», – признался его полномочный представитель в течении многих лет Хартман Лаутербахер, создавший в свое время на территории Австрии организацию «Немецкая молодежь»– предтечу Гитлерюгенда. Сам Ширах был далек от образа спортивного, боевитого гитлерюгендовца, который он пропагандировал среди немецкой молодежи. Ширах, несмотря на свою полноту и неспортивную внешность, старательно пытался сыграть роль крепкого парня. Многие из его подопечных сетовали на то, что их босс «не заводила, не борец, и что с ним вряд ли вспотеешь». Он был скорее эстет, чем аскет, и предпочитал роскошный гостиничный номер, а не лагерную палатку и горшок с гороховой похлебкой. Упорно ходили слухи о его якобы гомосексуальных наклонностях и шикарно обставленной спальне в белых тонах.

Как прежде восемнадцатилетние члены Гитлерюгенда в обязательном порядке вступали в СА. Эрнст Рем превратил эту организацию в мощное ударное полностью милитаризированное подобие армии. Старая проблема с командными кадрами в самом Гитлерюгенде снова стояла на повестке дня. Ширах, занимавший пост группенфюрера в высшем руководстве СА, потребовал независимости. В мае 1932 года Гитлер восстановил самостоятельность молодежной организации, а Ширах стал полноправным руководителем самостоятельного управления в руководстве НСДАП. Его уравняли в правах с Ремом. Отныне над ним был только один вождь и никто более. Свое новое положение Ширах сразу же использовал для борьбы против своего давнего соперника Адриана фон Рентельна, который временно вместо снятого Грубера исполнял обязанности руководителя Гитлерюгенда и национал-социалистического союза школьников. Всего под его началом было 35000 молодых людей. В результате интриг ему пришлось оставить занимаемую должность. И снова Ширах показал себя непревзойденным мастером борьбы за власть.