Как работает AutoDL

Типовой процесс глубокого обучения (ГО) начинается с определения задачи и формулирования вопроса. Это сопровождается рядом действий, включая подготовку данных (или предварительную обработку), обучение модели, гиперпараметрическую настройку и оценку модели. Это итеративный процесс и оптимальная модель зачастую получается после множественных итераций и экспериментов.

Для определения модели, которая лучше всего соответствует данным, требуется много времени, усилий и опыта во всем процессе глубокого обучения. Инструмент Обучение с использованием AutoDL автоматизирует весь этот рабочий процесс и определяет наилучшие нейронные сети с оптимальным набором гиперпараметров, соответствующих данным. В разделе ниже подробно описан каждый шаг процесса машинного обучения.

Рабочий процесс Обучение с использованием AutoDL

Инструмент Обучение с использованием AutoDL автоматизирует следующее:

• Приращение данных - успешные проекты глубокого обучения требуют больших объемов входных данных высокого качества для решения конкретной проблемы. Однако в действительности трудно получить классифицированные или надписанные данные в больших объемах. Методы приращения данных применяются для увеличения объема, а также разнообразия данных, чтобы они напоминали данные реального мира. Приращение данных может включать в себя геометрические преобразования, переворачивание, обрезку, перемещение, добавление шума и т.д., - и все эти процессы могут потребовать значительного количества времени и усилий от специалиста по ГО. Этот шаг обычно очень затратен по времени и утомителен, а также может потребовать специфических знаний и опыта в предметной области.

• Автоматическое вычитание размера пакета - выходные данные инструмента Экспорт обучающих данных для глубокого обучения представляют собой папку с набором данных для обучения глубокого обучения. Эти экспортированные данные содержат большое число изображений, которые необходимо отправлять пакетами - в зависимости от доступных вам вычислительных ресурсов. Инструмент автоматизирует процесс расчета оптимального размера пакета для обучения модели глубокого обучения на основе доступных ресурсов.

• Обучение модели и выбор модели — на этапе обучения модели специалист выбирает подходящую сеть DL на основе поставленной задачи и характеристик данных. Затем начинается итеративный процесс обучения моделей в соответствии с данными, это зачастую включает эксперименты с несколькими разными нейронными сетями ГО. У каждого из этих алгоритмов может быть много разных гиперпараметров, которые представляют собой значения, заданные специалистом по ГО вручную и которые управляют тем, как модель обучается. Затем эти гиперпараметры настраиваются (другими словами, корректируются) с целью повышения производительности алгоритма и достижения лучших результатов. Это итеративный процесс, который требует времени и опыта специалиста ГО. Различные модели нейронных сетей включают модели обнаружения объектов, в том числе SingleShotDetector и RetinaNet, YoloV3, FasterRCNN и MMDetection. Модели классификации пикселов, например, UnetClassifier, PSPNetClassifier, DeepLab и MMSegmentation, могут лучше подходить для тех или иных данных. Трудно предсказать, какие модели будут лучше работать с конкретным набором данных, поэтому вы должны попробовать все модели, чтобы сравнить их производительность, прежде чем выбрать модель, которая лучше всего подойдет вашим данным.

• Настройка гиперпараметров - несмотря на то, что большинство предыдущих шагов были итеративными, этот шаг зачастую является наиболее сложным при обучении моделей МО.

  Гиперпараметры можно рассматривать как рычаги, которые есть в каждой модели. Гиперпараметры, используемые при обучении модели, включают определение скорости обучения и подходящей опорной модели.

• Оценка модели—финальным шагом в процессе ГО является оценка модели, в ходе которой вы проверяете, как обученные и настроенные нейронные сети DL будут воссоздавать данные, которые пока для него незнакомы. Эти невидимые данные часто называют проверочным или тестовым набором и хранятся отдельно от тех данных, которые используются для обучения модели. Цель этого финального шага заключается в том, чтобы убедиться, что сети ГО дают достаточно хорошую точность при прогнозировании новых данных.

• В рабочем процессе ГО на каждом этапе требуется различная степень человеческого участия, принятия решений и выбора.

  • Были ли собраны подходящие данные для решения проблемы и достаточно ли их?

  • Что представляет собой класс фона в контексте данных?

  • Если найдены ненадписанные значения, что должно их заменить?

  • Сколько эпох должно продолжаться обучение модели ГО?

  • Какую нейросеть ГО нужно использовать?

  • Каков приемлемый уровень производительности для модели?

  • Какая наилучшая комбинация гиперпараметров для данной модели?

Это последнее решение потенциально может включать в себя сотни или даже тысячи комбинаций гиперпараметров, которые можно многократно итерировать. Если вы обучаете и настраиваете множество сетей ГО, весь процесс становится неуправляемым и непродуктивным. Кроме того, некоторые этапы рабочего процесса глубокого обучения требуют экспертного технического понимания методов обработки данных, статистики и алгоритмов глубокого обучения. Таким образом, разработка и выполнение проектов глубокого обучения может занимать много времени, это может быть трудоемко, дорого и часто сильно зависит от квалификации специалистов по глубокому обучению и специалистов по данным.

За последнее десятилетие глубокое обучение испытало взрывной рост как в части приложений, к которым оно применяется, так в части количества новых исследований, проведенных на его основе. Некоторыми из основных движущих сил этого роста являются зрелость самих алгоритмов и методов глубокого обучения, создание и распространение огромных объемов данных для обучения алгоритмов, изобилие недорогих вычислений для запуска алгоритмов и растущая осведомленность среди организаций, что алгоритмы глубокого обучения могут обрабатывать сложные структуры данных и решать проблемы.

Многие организации хотят работать с ГО, чтобы использовать преимущества своих данных и извлекать из них новые знания, но существует дисбаланс между количеством потенциальных приложений ГО и количеством обученных, опытных практиков ГО для их решения. В результате растет потребность в демократизации глубокого обучения в организациях путем создания инструментов, которые делают ГО широко доступным во всей организации и могут использоваться имеющимися специалистами, не занимающимися глубоким обучением, но являющимися экспертами в предметной области.

Автоматизированное глубокое обучение (AutoDL) появилось недавно, как способ удовлетворить огромный спрос на ГО в организациях с любым уровнем опыта и навыков. AutoDL стремится создать единую систему для автоматизации (другими словами, исключения ввода параметров человеком) как можно большей части рабочего процесса ГО, включая подготовку данных, приращение данных, выбор модели, настройку гиперпараметров и оценку модели. При этом он может быть полезен неспециалистам, снизив порог входа в ГО, а также обученным практикам ГО, сократив некоторые из наиболее утомительных и трудоемких шагов в рабочем процессе ГО.

AutoDL для эксперта, не связанного с глубоким обучением (ГИС-аналитик, бизнес-аналитик, аналитик данных, которые являются экспертами в предметной области) - ключевым преимуществом использования AutoDL является то, что он исключает некоторые этапы рабочего процесса глубокого обучения, которые требуют специальных технических знаний и понимания. Аналитики, которые являются экспертами в предметной области, могут определить свою бизнес-проблему и собрать необходимые данные, а затем позволить компьютеру обучиться делать все остальное. Им не нужно глубоко понимать методы обработки для очистки и приращения данных, не нужно знать, что делают все нейронные сети глубокого обучения, и не нужно тратить время на изучение различных сетей и конфигураций гиперпараметров. Вместо этого они могут сосредоточиться на применении своих знаний в предметной области к конкретной бизнес-проблеме или предметному приложению, а не на самом рабочем процессе глубокого обучения. Кроме того, они могут меньше зависеть от обученных специалистов по данным и глубокому обучению в своей организации, поскольку могут создавать и использовать сложные модели самостоятельно, часто не требуя от них наличия опыта программирования.

AutoDL для ГО-экспертов (исследователи данных, инженеры глубокого обучения) — AutoDL также может быть чрезвычайно полезен для экспертов по глубокому обучению, однако причины могут быть не столь очевидными. Во-первых, специалистам по глубокому обучению не нужно тратить столько времени на поддержку экспертов предметной области в своей организации, и поэтому они могут сосредоточиться на своей собственной, более сложной работе по глубокому обучению. Когда дело доходит до проектов глубокого обучения для экспертов ГО, AutoDL может значительно сэкономить время и повысить производительность. Многие трудоемкие этапы рабочего процесса ГО, такие как приращение данных, выбор модели и настройка гиперпараметров, можно автоматизировать. Время, сэкономленное за счет автоматизации многих из этих повторяющихся исследовательских шагов, можно перенаправить на более сложные технические задачи или задачи, требующие большего участия человека (например, сотрудничество с экспертами в предметной области, понимание бизнес-проблемы или интерпретация результатов глубокого обучения).

В дополнение к экономии времени, AutoDL также может помочь повысить производительность работы ГО-специалистов, поскольку устраняет элемент субъективного выбора и экспериментов, связанных с рабочим процессом ГО. Например, у эксперта ГО, приступающего к новому проекту, может быть необходимая подготовка и опыт, чтобы определить, какие новые объекты создавать, какая сеть ГО будет оптимальной для конкретной проблемы и какие гиперпараметры подходят наилучшим образом. Однако они могут упустить из виду создание некоторых новых объектов или не попробовать все возможные комбинации гиперпараметров, в то время как они определяют рабочий процесс глубокого обучения. Кроме того, специалист по глубокому обучению может предвзято относиться к процессу выбора объектов или алгоритму, поскольку предпочитает определенную сеть глубокого обучения, основываясь на своем опыте или успехах в других известных ему приложениях глубокого обучения. На самом деле ни один алгоритм глубокого обучения не подходит одинаково для всех наборов данных, некоторые алгоритмы глубокого обучения более чувствительны к выбору гиперпараметров, чем другие, и многие бизнес-задачи имеют разную степень сложности и требования к интерпретируемости алгоритмов ГО, которые используются для их решения. AutoDL может помочь уменьшить часть этой предвзятости, связанной с человеческим фактором, применяя множество различных сетей глубокого обучения к одному и тому же набору данных, а затем определяя, какой из них работает лучше всего.

Для специалистов по глубокому обучению AutoDL также может служить отправной точкой или ориентиром в проекте глубокого обучения. Они могут использовать его для автоматической разработки базовой модели для набора данных, которая может дать им первое представление о конкретной проблеме. Здесь они могут принять решение о добавлении или удалении определенных объектов из входного набора данных или сосредоточиться на конкретной сети машинного глубокого обучения и точно настроить его гиперпараметры. В этом смысле AutoDL можно рассматривать как средство сужения набора исходных вариантов выбора для обученного специалиста по глубокому обучению, чтобы он мог сосредоточиться на повышении производительности системы ГО в целом. На практике очень часто применяется рабочий процесс, в котором эксперты по глубокому обучению разрабатывают эталонный тест на основе данных с использованием AutoDL, а затем используют этот эталонный тест, применяя свой опыт для уточнения результатов.

В конце концов, демократизация глубокого обучения с помощью AutoDL в организации позволяет экспертам в предметной области сосредоточить свое внимание на бизнес-проблеме и получать действенные результаты, а также дает возможность аналитикам создавать более качественные модели и может сократить количество экспертов по ГО, которые необходимы организации. Это также может помочь повысить производительность обученных специалистов по глубокому обучению и специалистов по данным, позволяя им сосредоточить свои знания на множестве других задач, где они необходимы больше всего.

Интерпретация полученных отчетов

Инструмент Обучение с использованием AutoDL создает обученные пакеты глубокого обучения (.dlpk) и отображает список лидеров в качестве части окна выходных данных инструмента.

Список лидеров показывает оцененные модели и их значение метрики. В случае проблемы обнаружения объектов, модель с наивысшей средней оценкой точности precision считается лучшей моделью, тогда как в случае проблемы классификации пикселей лучшей будет модель с наивысшей точностью accuracy.