Машинное обучение (Machine Learning или сокращенно ML) — одно из самых сложных и перспективных направлений развития искусственного интеллекта (ИИ). Фактически оно представляет собой набор приемов, алгоритмов и методов, позволяющих ИИ учиться и решать задачи не в строгих рамках, заданных программой, а на базе постоянного совершенствования знаний и накопления опыта. Именно таким образом в течение жизни учимся и мы с вами.
Понятие машинного обучения неразрывно связано с нейросетями. Нейронная сеть является методом в области искусственного интеллекта, который учит компьютеры работать с данными так же, как человеческий мозг. Важно понимать, что нейросети — это не мыслящие объекты, наделенные сознанием. Это сложнейшая база данных с огромным количеством формул.
Данные поступают в нейросеть, обрабатываются формулами, после чего пользователю выдается результат. Самая главная сложность заключается в том, как найти такие уравнения и алгоритмы, благодаря которым результат работы нейросети будет максимально полезным. Машинное обучение как раз и заключается в выведении этих формул.
Как происходит обучение нейросети
Для начала нужно объяснить, чем нейронная сеть отличается от обычного алгоритма. Алгоритм — это заранее прописанная последовательность действий, которую должен выполнить компьютер, дающая определенный предсказуемый результат. В качестве примера можно привести программу, которая рассчитывает площадь квартиры или дома по чертежу. В ней есть четкая пошаговая инструкция, какие величины перемножать, какие складывать и т. д. У такого алгоритма понятная и простая архитектура, в него можно свободно вносить изменения на любом этапе.
У нейросетей другая логика работы. Им дают большой массив правильно решенных задач. В нашем примере — это, скажем, тысяча чертежей домов с уже прописанными площадями. После этого нейронной сети дают возможность самой решить подобную задачу. Она начинает угадывать, какой ответ от нее хотят получить. Отдельный алгоритм подсказывает ей, правильно она справилась с решением или нет. Со временем нейросеть учится угадывать все лучше и лучше, формирует некие связи внутри своей структуры, которые обеспечивают полезный результат.
Чтобы успешно решать задачи, нейросети нуждаются:
в данных. К ним относится все, что может помочь обучению. Например, статистика, исторические факты, примеры переводов с одного языка на другой, изображения. Эти данные накапливаются годами и объединяются в огромные массивы — датасеты. Они есть у всех крупных IT-компаний. Всем знаком способ сбора данных с помощью капчи. Люди выбирают правильные изображения, а система запоминает корректные ответы;
признаках. Их еще называют свойствами или характеристиками. Признаки — это то, на что должна обращать внимание нейросеть в процессе обучения. Например, к ним относится частотность слов в тексте, цена определенных товаров. Чем более четко обозначены свойства и чем меньше их количество, тем сети проще обучаться. Однако для решения сложных задач современные ML-модели вынуждены учитывать десятки миллионов признаков, которые определяют, как входные данные преобразуются в выходные;
алгоритмах. Они представляют собой способы решения задачи. Обычно для каждой задачи может быть использовано множество алгоритмов, поэтому очень важно выбрать наиболее точный и эффективный из них.
Архитектура нейронных сетей
Нейросеть состоит из искусственных нейронов. Они в чем-то похожи по принципу действия на нейроны в человеческом мозге. Но вместо живых клеток их функциональными единицами выступают программные модули или узлы.
В любой базовой нейронной сети присутствуют три слоя взаимосвязанных искусственных нейронов:
Входной слой. Он необходим для передачи информации из внешнего мира в нейросеть. Входные узлы выполняют обработку поступающих данных, их анализ и классификацию, а затем передают их в следующий слой.
Скрытые слои. Они получают данные от входного или других скрытых слоев. Нейросети могут располагать множеством скрытых слоев, каждый из которых анализирует выходные данные предыдущего слоя, обрабатывает их и передает следующему.
Выходной слой. Он выдает окончательный результат обработки данных. Выходной слой может иметь как один, так и несколько узлов. Например, в задачах с двоичной логикой (да/нет) будет только один выходной узел. В случаях множественной классификации их может быть достаточно большое количество.
Только что мы рассмотрели архитектуру базовой нейросети. Глубокие нейронные сети (сети глубокого обучения) обычно имеют много скрытых слоев, состоящих из миллионов связанных между собой искусственных нейронов. Количество связей одного нейрона с другими называют весом. Вес является положительным, если данный узел возбуждает другой, или отрицательным, если, наоборот, происходит подавление узла. Узлы с большим весом оказывают более сильное влияние на другие. Веса нейросети настраиваются в процессе обучения. Они определяют, какие данные будут учитываться при получении итогового результата, и какой вклад внесет тот или иной узел на выводы.
Типы обучения нейросетей
Существует достаточно много способов обучения нейронных сетей. Однако все они сводятся к двум основным концепциям: с помощью учителя и без него. В этой связи снова можно провести аналогию с мозгом человека. Люди также способны приобретать опыт или с наставником, способным прочитать курс лекций, направлять и указывать верный путь к решению задачи, или самостоятельно, ориентируясь лишь на собственные наблюдения и полученный опыт. Рассмотрим оба этих принципа более подробно.
обучение с учителем. Наставник подает на вход нейросети большую выборку обучающих примеров с заранее известным ответом. Если результат работы нейросети далек от правильного решения, нужно откорректировать веса узлов и запустить процесс заново. Процесс повторяется до тех пор, пока процент неверных ответов по всему объему обучающего материала не окажется в пределах допустимых значений. Обучение с учителем хорошо подходит для задач, в которых уже известен требуемый результат. Скажем, для классификации изображений, распознавания голоса и пр.;
обучение без учителя. Именно такой подход использовался в приведенном примере с программой для вычисления площади дома. Этот вариант обучения подразумевает лишь ввод данных, после чего нейросеть начинает самостоятельно корректировать весовые коэффициенты. Нейронная сеть выстраивает логическую цепочку, пытается выделить взаимосвязи и закономерности, делает выводы о правильности выбранного метода на основании близости полученных результатов к эталонным значениям. Обучение без учителя часто применяют для построения языковых моделей, кластеризации, статистического моделирования, обнаружения аномалий.
Отдельно стоит рассмотреть такой метод, как обучение с подкреплением. Это разновидность обучения без учителя, поскольку здесь также не используются помеченные данные. Суть метода заключается во взаимодействии сети с окружающей средой и получении сигналов обратной связи в виде поощрений и наказаний. Нейросеть учится выполнять такие действия, которые со временем приведут к максимальному вознаграждению.
Еще одним подвидом ML является трансферное обучение. Оно подразумевает использование знаний, полученных при решении одной задачи, для повышения эффективности работы над другой задачей. Процесс включает предварительное обучение на большом массиве данных и последующую точную настройку под специфику новой целевой задачи. Трансферное обучение в некоторых случаях позволяет существенно сэкономить время и ресурсы. Особенно оно актуально для ситуаций, когда необходимые исходные данные слишком дороги или ограничены для получения.
Этапы обучения
Вне зависимости от используемого принципа обучение нейросетей состоит из двух ключевых этапов. На первом происходит тренировка — нейронная сеть учится, выстраивает необходимые связи, регулирует веса узлов. Но как мы проверим, насколько эффективно она это делает? Как и в случае с обычными учениками, нейросеть должна пройти экзамен. Естественно, вопросы на этом экзамене должны отличаться от тех, которые были использованы при тренировке, чтобы исключить вариант, что сеть просто «запомнила» правильный ответ. Это и есть второй этап, который называется тестированием.
Для проверки эффективности обучения нейросети нужно предоставить ей данные из другой части той же выборки, по которой она училась. Если сеть не выдает устраивающих нас ответов, возможны несколько причин появления подобных ошибок. Во-первых, это недостаточный объем данных из окружающей среды. Во-вторых, возможно данные из окружающей среды были недетерминированы. Наконец, не исключен вариант некорректного определения тренировочных и тестовых датасетов.
Алгоритмы обучения нейросетей
На сегодняшний день в области ML применяется большое количество разнообразных алгоритмов. Остановимся на наиболее распространенных из них.
Алгоритм обратного распространения
Он заключается в многократном повторении двух действий — прямого и обратного. Прямое действие — это передача входных данных через нейросеть и вычисление прогнозируемого результата. Данные от входного узла к выходному могут передаваться большим количеством различных путей. Правильным же считается только один, который сопоставляет входные данные с нужными выходными. Поиск этого пути в рассматриваемом алгоритме ведется с помощью петли обратной связи. Делается это следующим образом:
Каждый узел делает прогноз о следующем узле на пути данных от входа до выхода.
Он проверяет, насколько правильным является его предположение. Те пути, которые привели к более корректным результатам, получают более высокие значения веса. Соответственно, путям с неправильным предположением присваиваются низкие значения веса.
Узлы делают прогноз по следующей точке данных с использованием путей с более высоким весом. После этого шаги 1 и 2 повторяются заново.
Алгоритм обратного распространения вносит решающий вклад в обучение глубоких нейросетей с несколькими слоями. Он позволяет эффективно оптимизировать веса узлов нейронной сети, в том числе в сложных архитектурах с большим количеством параметров. Помимо стандартного варианта такого алгоритма существуют его расширенные и продвинутые версии, способные адаптивно регулировать скорость обучения (например, Adam или RMSprop).
Алгоритм упругого распространения
Этот алгоритм также называют Rprop. Он рассматривается как альтернатива предыдущему способу обучения, когда тот становится неудобным и требует большого количества времени, а результат нужно получить как можно быстрее.
Главной особенностью алгоритма является вычисление обновления веса, выполняемое с помощью знака градиента, который указывает направление корректировки. Градиент представляет собой вектор, показывающий направление наибольшего увеличения функции. Он используется для обновления параметров модели с целью уменьшения значения функции ошибки. Алгоритм упругого распространения позволяет адаптировать скорость обучения отдельно для каждого веса. Если знак градиента не меняется, он увеличивает скорость обучения, а если наоборот — уменьшает. Такая регулировка помогает алгоритму гибко перемещаться по весовым пространствам со сложной многомерной архитектурой, быстрее и надежнее находить оптимальные решения.
Генетический алгоритм
Как видно из названия, в алгоритме используются приемы, характерные для поведения генов живых организмов. В начале процесса создается случайная популяция нейросетей, каждая из которых имеет случайно заданные параметры. Далее она подвергается естественному отбору, успешность которого определяется поставленной задачей (например, классификацией изображений).
После первого этапа из популяции выбираются нейросети, успешнее всего справившиеся с задачей. Они используются для создания следующего поколения нейронных сетей. При этом применяются механизмы, аналогичные живой природе — скрещивание и мутации. Новое поколение снова принимается за решение задачи и цикл повторяется. Процесс идет до тех пор, пока не будет достигнут заданный критерий остановки (скажем, достижение определенной точности).
Вывод
В этой статье мы рассмотрели основные типы и методы обучения нейросетей. Это направление продолжает активно развиваться и считается одним из самых перспективных в сфере искусственного интеллекта. В будущем ожидается появление еще более эффективных методов и алгоритмов, которые позволят нейронным сетям решать максимально сложные задачи, сейчас доступные только человеку.