Борис Романович родился 23 июля (5 августа) 1903 года в городе Лебедине, ныне Сумской области, а тогда Харьковской губернии. Отец Роман Константинович Гмыря по специальности был рабочим-каменщиком, работал на кирпичном заводе. Семья сильно нуждалась, Гмыря рассказывал, что небольшой кусок хлеба приходилось резать ниткой. Уже в 11 лет Борис Романович вынужден был пойти на работу по найму. К этому моменту в его «активе» было лишь начальное образование в церковно-приходской школе. Гмыря перепробовал массу профессий. Поначалу был курьером в суде, в 16 лет попал в Севастополь, где работал грузчиком, матросом, кочегаром. Успел будущий оперный артист побывать и секретарем общества «Долой неграмотность». В Харьков Борис Романович перебрался для того, чтобы получить высшее образование, – благо советская власть открыла двери вузов для выходцев из низших сословий. Вот только не каждый начнет усиленно учиться в возрасте 23 лет. Гмыря совмещал дневную работу с вечерними занятиями на рабфаке. Так продолжалось четыре года, после чего он, наконец, поступил в Харьковский инженерно-строительный институт.

Перед прилежным, трудолюбивым молодым человеком открывалась традиционная перспектива, инженерная карьера. Но было у Бориса Романовича еще одно увлечение, к которому он, впрочем, долго именно как к увлечению и относился. От матери Гмыря унаследовал музыкальность, любил петь, обладал красивым низким голосом с теплым, бархатным тембром – басом-кантанте. Он включился в студенческую самодеятельность: был и солистом, и запевалой, даже руководителем хора. А на третьем курсе ему пришла в голову мысль показаться специалисту. Так Бориса Романовича впервые увидел профессор Харьковской консерватории П. Голубев. Талантом великовозрастного студента-строителя профессор был поражен. «Материал профессиональный, – сказал он, – пению нужно учиться, но строительный институт надо окончить, чтобы специальность была». Для того чтобы получить разрешение на учебу сразу в двух вузах, обратились к самому наркому Скрыпнику (вот они – преимущества столичного положения города), и тот, якобы улыбаясь, спросил: «Вы что же, хотите сначала строить концертные залы, а потом в них петь?» Но разрешение дал.

Так началась инженерно-музыкальная жизнь. Кроме того, Гмыря на велосипеде через полгорода (жил Борис в районе Шатиловки) по вечерам ездил к Голубеву на квартиру, на дополнительные занятия вокалом. И не только вокалом. Жена Голубева вспоминала, что молодого лебединца не только избавляли от характерного акцента, но и учили правильно держаться в обществе, одеваться, вести себя за столом. «Гмыря впитывал все, как губка», – говорила Голубева.

В 1933 году Роман Константинович умер, но мать Борису удалось поддержать. Смерть отца была не единственным изменением в личной жизни Гмыри. В Харькове он познакомился и женился на Анне Ивановне – тогда студентке педагогического института.

В 1935 году Борис Романович с отличием окончил инженерностроительный институт, был выдвинут на научно-исследовательскую работу, но долго ею не занимался. Музыка стала главной и единственной профессией Гмыри. В консерватории Борис Романович быстро выделился среди своих однокурсников как талантливейший певец и один из самых серьезных студентов. В 1936 году, студентом третьего курса консерватории, он неожиданно для себя получил приглашение на работу в Харьковский оперный театр. И не просто на работу, а солистом. Два года Борис Романович пел небольшие партии, но наряду с ними ему стали поручать и первые роли: Томского в «Пиковой даме», Галицкого в «Князе Игоре», Вакулинчука из «Броненосца? Потемкина?», Половцева в «Поднятой целине».