Может сложиться впечатление, будто самое важное качество специалиста по машинному обучению – знать как много больше разных методов и хорошо разбираться в математике. Но на практике успеха обычно добивается тот, кто правильно применяет широко известный алгоритм, а не прибегает к запутанному алгоритму, толком не понимая, как он работает. Для правильного применения алгоритма необходимо уверенно владеть какой-нибудь простой методологией.
Рекомендуется применять на практике следующий процесс проектирования (идеи позаимствованы у Эндрю Ына):
- Определите цели – какую вы будете использовать метрику ошибок и с чем сравнивать результаты для оценки ошибки. Метрика ошибок должна определяться решаемой задачей.
- Как можно скорее организуйте комплексный рабочий конвейер, включающий и оценку показателей качества.
- Оснастите систему измерительными средствами для определения узких мест.
- Диагностируйте компоненты, работающие хуже, чем ожидалось, и разберитесь, чем вызвано плохое качество: переобучением, недообучением или дефектами данных либо программ.
- Основываясь на результатах измерений, шаг за шагом вносите изменения: сбор новых данных, подстройку гиперпараметров или смену алгоритмов.