В 2006 году Юдофски, Штайн и Такер опубликовали статью о глубоком обучении, в которой предложили архитектуру масштабируемых глубоких нейронных сетей.

В 2007 году Рохит описал «гиперпараметры». Термин «гиперпараметр» используется для описания математической формулы, которая используется в процессе компьютерного обучения. Хотя можно разработать системы с десятками, сотнями или тысячами гиперпараметров, количество параметров необходимо тщательно контролировать, поскольку перегрузка системы слишком большим количеством гиперпараметров может привести к снижению производительности.

Соучредители Google Ларри Пейдж и Сергей Брин опубликовали статью о будущем робототехники в 2006 году. В этот документ включен раздел о разработке интеллектуальных систем с использованием глубоких нейронных сетей. Пейдж также отметил, что эта область не была бы практичной без широкого спектра базовых технологий.

В 2008 году Макс Ядерберг и Шай Халеви опубликовали «Глубокую речь». В ней представлена технология «Deep Speech», которая позволяет системе определять фонемы разговорного языка. Система вводила четыре предложения и могла выводить предложения, которые были почти грамматически правильными, но имели неправильное произношение нескольких согласных. Deep Speech была одной из первых программ, которая научилась говорить и оказала большое влияние на исследования в области обработки естественного языка.

В 2010 году Джеффри Хинтон описывает взаимосвязь между дизайном, ориентированным на человека, и областью обработки естественного языка. Книга была широко цитирована, потому что она представила область исследований искусственного интеллекта, ориентированного на человека.

Примерно в то же время Клиффорд Насс и Герберт А. Саймон подчеркнули важность дизайна, ориентированного на человека, при создании систем искусственного интеллекта и изложили ряд принципов проектирования.

В 2014 году Хинтон и Томас Клювер описывают нейронные сети и используют их для построения системы, способной транскрибировать речь человека с заячьей губой. Система транскрибирования показала значительное улучшение точности распознавания речи.

В 2015 году Нил Якобштейн и Арун Росс описывают фреймворк TensorFlow, который сейчас является одним из самых популярных фреймворков машинного обучения, ориентированного на данные.

В 2017 году Фей-Фей Ли подчеркивает важность глубокого обучения в науках о данных и описывает некоторые исследования, которые были выполнены в этой области.

Искусственные нейронные сети (ИНС), обычно называемые просто алгоритмами глубокого обучения, представляют собой смену парадигмы в искусственном интеллекте. У них есть возможность изучать концепции и отношения без каких-либо заранее определенных параметров. ИНС также способны изучать неструктурированную информацию, выходящую за рамки требований установленных правил. Первоначальные модели ИНС были построены в 1960-х годах, но в последнее десятилетие их исследования активизировались.

Рост вычислительной мощности открыл новый мир вычислений благодаря разработке сверточных нейронных сетей (CNN) в начале 1970-х годов. В начале 1980-х Станислав Улам разработал функцию символического расстояния, которая стала основой для будущих алгоритмов сетевого обучения.

К концу 1970-х годов в ImageNet развернуто несколько CNN. В начале 2000-х годов графические процессоры, основанные на обработке данных с плавающей запятой, обеспечивали экспоненциальную производительность и низкое энергопотребление для обработки данных. Появление алгоритмов глубокого обучения является следствием применения более общих вычислительных архитектур и новых методов обучения нейронных сетей.