Глубокое обучение стоит использовать, когда:

• более простые модели (логистическая регрессия) не дают требуемой верности;
• требуется распознавать сложные паттерны в изображениях, NLP или звуковых данных;
• размерность данных велика;
• входные данные обладают временным измерением (последовательности).

Когда стоит ограничиться традиционным машинным обучением

Традиционное машинное обучение стоит использовать, когда:

• имеются высококачественные данные низкой размерности, например экспортированные из базы данных в виде таблицы;
• вы не пытаетесь найти в данных изображения сложные паттерны.

Оба метода дадут неудовлетворительные результаты, если данные неполны или плохого качества.

Правильное применение машинного обучения подразумевает поиск подхода, отвечающего поставленной задаче. Мы пока не можем назвать единый метод, пригодный для всего на свете, поэтому должны всякий раз оценивать задачу и данные в поисках наилучшей модели.

У любого метода машинного обучения есть смещение и дисперсия. Чем ближе модель к истинному распределению данных, тем лучше результаты алгоритма обучения в среднем.

Попробуем взглянуть на проблему с точки зрения практического примера. Если визуализация показывает, что данные очевидно линейны, то станете ли вы аппроксимировать их нелинейной моделью (например, многослойным перцептроном)? Наверное, нет, а возьмете что-нибудь попроще, скажем, логистическую регрессию. В конкурсах на сайте Kaggle оптимальный метод все время меняется. Но в тех случаях, когда победителем оказывается не глубокое обучение, первое место занимают обычно случайные леса и ансамблевые методы.

Размер набора данных также следует учитывать, принимая решение об использовании глубокого обучения. Полученные в последние годы эмпирические результаты свидетельствуют, что предсказательная сила глубокого обучения высока, когда набор данных достаточно велик, т. е. результаты тем лучше, чем больше набор данных. Нейронные сети обладают большей репрезентативной емкостью, чем линейные модели, и лучше приспособлены для исследования данных. Эвристическое правило таково: обучить нейронную сеть можно, если имеется по меньшей мере 5000 помеченных примеров.

Основные современные архитектуры, применяемые в глубоком обучении

 Для порождения данных (например, изображений, звука и текста) используются:
– порождающие состязательные сети;
– вариационные автокодировщики;
– рекуррентные нейронные сети.

 Для моделирования изображений используются:
– сверточные нейронные сети;
– глубокие сети доверия.


Для моделирования последовательных данных используются:
– рекуррентные нейронные сети, LSTM.

Источник: Глубокое обучение с точки зрения практика