Банковское дело для братьев не замкнулось на одном Харьковском земельном банке. Напротив, с его приобретением они почувствовали настоящий вкус к этому делу и вплотную занялись банковскими операциями. Уже в 1902 году ими был организован «Банкирский дом братьев Рябушинских», в число учредителей которого вошли все братья, за исключением «шалого» Николая. Первоначальный основной капитал составлял 1 050 000 рублей. По договору, составленному при учреждении Банкирского дома, никто из братьев не мог в течение пяти лет выйти из общего дела и не имел права кредитоваться в своем Банкирском доме и входить «в кредитные обязательства по делам личным». Вскоре у Банкирского дома появились иностранные корреспонденты. В 1907 году братья попытались приобрести три крупнейших банка разорившегося банкира Полякова, однако попытка эта окончилась провалом.

В 1912 году Рябушинские, как рассказывал Владимир Павлович (один из братьев, летописец фамилии), «созвали друзей среди дружественных текстильщиков, всех москвичей», и создали «Московский банк», основной капитал которого к 1913 году составил 25 000 000 рублей. В планах было приобретение крупнейших российских частных банков – Волжско-Камского и Русского торгово-промышленного – и создание «банка мирового масштаба». Однако планам этим не суждено было сбыться.

Крупнейший акционер Волжско-Камского банка господин Кокорев никак не шел на переговоры о продаже, и Рябушинские решили просто потихонечку скупить акции понравившегося финансового учреждения. Однако прослышавшие об этом биржевые маклеры средней руки сами бросились скупать бумаги – в надежде потом выгодно продать их братьям. Цены на акции, к радости Кокорева, тут же взлетели до небес, и Рябушинские, скупив всего несколько тысяч, вынуждены были плюнуть на это дело.

Глава же Русского торгово-промышленного банка господин Коншин (тот самый бывший приказчик, а затем компаньон Третьяковых, о котором мы уже говорили) сам обратился к братьям с предложением купить у него 25 тысяч акций. В результате Рябушинские ввели своего доверенного человека в совет директоров банка, и он, изучив состояние банковских дел, отрапортовал им, что в банке царит «безумная вакханалия», что банковские служащие «наживаются за счет банка, беря себе колоссальные куртажные» и что сам Коншин «взял себе лично один миллион рублей». По итогам такого исследования братья сделали Коншину обратное предложение – «купить весь его пакет по цене дня», то есть процентов на двадцать дороже, чем он продал его Рябушинским. От предложения он не смог отказаться. В результате братья получили очень большую прибыль, но о слиянии пришлось забыть.

К концу первого десятилетия у Рябушинских уже скопилось столько свободной наличности, что ее стало просто некуда девать. Требовалось срочно найти объект для вложения денег. Таким объектом стал лен. До Рябушинских вопросами экспорта российского льна занимались почти исключительно иностранцы. Братья решили бросить все силы на создание льняной монополии. За помощью в этом деле они пришли к ведущему фабриканту в этой области Сергею Николаевичу Третьякову. «Если вы не пойдете с нами, – заявил ему на переговорах главный банкир семьи Михаил Рябушинский, – мы пойдем отдельно. У нас деньги, у вас фабрики и знание, вместе мы достигнем многого». Результатом переговоров стало создание Русского акционерного льнопромышленного общества – РАЛО. В 1912 году общество открыло свою первую фабрику первичной обработки льна под Ржевом. Однако покупать ее продукцию никто не хотел: у всех фабрикантов были свои льночесальни, и закрывать их они не собирались. В первый год фабрика понесла 200 000 рублей убытка. В ответ на это братья увеличили вчетверо капитал РАЛО и объявили войну другим фабрикантам, начав скупать их фабрики. Очень скоро марка «РАЛО» была признана первоклассной как на внутреннем, так и на внешнем рынке, а сам концерн к 1917 году контролировал около 20% российского льняного бизнеса.