Методы эвристического поиска (Heuristic search techniques) – это методы, которые сужают поиск оптимальных решений проблемы за счет исключения неверных вариантов.

Механизм внимания (Attention mechanism) – это одно из ключевых нововведений в области нейронного машинного перевода. Внимание позволило моделям нейронного машинного перевода превзойти классические системы машинного перевода, основанные на переводе фраз. Основным узким местом в sequence-to-sequence обучении является то, что все содержимое исходной последовательности требуется сжать в вектор фиксированного размера. Механизм внимания облегчает эту задачу, так как позволяет декодеру оглядываться на скрытые состояния исходной последовательности, которые затем в виде средневзвешенного значения предоставляются в качестве дополнительных входных данных в декодер.

Мехатроника (Mechatronics) – это научно-техническая дисциплина, посвящённая созданию и эксплуатации электроприводов с программным управлением, которые обеспечивают высокоточные движения. Мехатронные узлы, блоки и системы строятся по технологиям, интегрирующим механику, электротехнику, силовую электронику, микропроцессорную технику, программное управление. Эти компактные модули применяются в самых разных системах, которые используют многие отрасли: авто- и авиастроение; космическая техника; производство спортивного оборудования; медтехника; бытовая техника; робототехника79.

Минимизация структурных рисков (Structural risk minimization, SRM) – это индуктивный принцип использования в машинном обучении. Обычно в машинном обучении обобщенная модель должна быть выбрана из конечного набора данных, что приводит к проблеме переобучения – модель становится слишком строго адаптированной к особенностям обучающего набора и плохо обобщается для новых данных. Принцип SRM решает эту проблему, уравновешивая сложность модели с ее успехом в подборе обучающих данных. Этот принцип был впервые изложен в статье 1974 года Владимира Вапника и Алексея Червоненкиса80.

Многозадачное обучение (Multitask learning) – это общий подход, при котором модели обучаются выполнению различных задач на одних и тех же параметрах. В нейронных сетях этого можно легко добиться, связав веса разных слоев. Идея многозадачного обучения была впервые предложена Ричем Каруаной в 1993 году и применялась для прогнозирования пневмонии, а также для создания системы следования дороге на беспилотных устройствах (Каруана, 1998). Фактически при многозадачном обучении модель стимулируют к созданию внутри себя такого представления данных, которые позволяет выполнить сразу много задач. Это особенно полезно для обучения общим низкоуровневым представлениям, на базе которых потом происходит «концентрация внимания» модели или в условиях ограниченного количества обучающих данных. Многозадачное обучение нейросетей для обработки естественного языка было впервые применено в 2008 году Коллобером и Уэстоном (Collobert & Weston, 2008).

Мобильное здравоохранение (Mobile healthcare, mHealth) – это ряд мобильных технологий, систем, сервисов и приложений, установленных на мобильных устройствах и использующихся в медицинских целях и для обеспечения здорового образа жизни человека и мотивации людей к здоровому образу жизни и формированию новой «цифровой» культуры здоровья.

Модель от последовательности к последовательности (Sequence-to-sequence model, seq2seq). Самая популярная задача на последовательность – это перевод: обычно с одного естественного языка на другой. За последние пару лет коммерческие системы стали на удивление хороши в машинном переводе – взгляните, например, на Google Translate, Yandex Translate, DeepL Translator, Bing Microsoft Translator. Сегодня мы узнаем об основной части этих систем