Во вторник AlphaGo одержала победу над Ли Седолем со счетом 4:1, оправившись от ранней ошибки в финальной партии и победив одного из сильнейших игроков в го в мире. Этот матч продемонстрировал как возможности современного машинного обучения, так и ценность противостояния изобретательному противнику-человеку.
Программа, разработанная подразделением DeepMind компании Google, обеспечила себе победу в серии, выиграв первые три игры. Затем Ли одержал невероятную победу в четвертой игре, вынудив AlphaGo допустить ряд ошибок, после чего машина вернулась и выиграла напряженный пятый матч. Результат оказался более показательным, чем простое поражение: AlphaGo продемонстрировала доминирование на разных позициях, но не была неуязвима.
Агентство Reuters сообщило , что окончательный счет был определен после пятой партии, в которой Ли воспользовался ошибкой соперника в начале игры, прежде чем AlphaGo вернула себе инициативу. Все пять партий проходили в Сеуле в профессиональных условиях, с призовым фондом в 1 миллион долларов и прямой трансляцией по всему миру.
Четыре победы подтверждают не только тактическую мощь
Игра Го долгое время считалась передовой областью для искусственного интеллекта, поскольку она не поддается исчерпывающим вычислениям. Ее доска размером 19 на 19 позволяет воспроизводить гораздо более правдоподобные последовательности ходов, чем могут подсчитать даже мощные компьютеры, а оценка позиции требует умения оценивать влияние, территорию, жизнь и смерть, что невозможно свести к подсчету фигур.
AlphaGo решает эти проблемы, обучаясь определять, какие позиции и ходы заслуживают внимания. Архитектура, описанная в исследовательской статье DeepMind в журнале Nature, сочетает в себе сети политики, которые ранжируют перспективные ходы, с сетью ценностей, которая оценивает вероятность выигрыша в той или иной позиции. Затем поиск по дереву Монте-Карло анализирует выбранные варианты, вместо того чтобы пытаться вычислить всё.
Сначала нейронные сети обучались на опыте игроков-людей, а затем совершенствовались за счет многократной самообучения. Второй этап важен, поскольку программное обеспечение не ограничивается имитацией общепринятых правил. Оно может обнаруживать ходы, которые профессионалы редко выбирают, оценивать их последствия на основе смоделированного опыта и сохранять стратегии, повышающие вероятность победы.
Матч продемонстрировал работоспособность метода в различных тестах. AlphaGo выигрывала в спокойных стратегических играх, справлялась с тактическими сложностями и в финале отыгралась после отставания. В отчете журнала Nature о завершенной серии счет 4:1 был воспринят как подтверждение того, что предыдущая победа над чемпионом Европы Фань Хуэем не была пределом возможностей системы.
Победа Ли в четвёртой партии становится диагностическим событием
После трёх поражений Ли выиграл четвёртую партию в воскресенье белыми. Его ход 78 — клин в центр позиции AlphaGo — поначалу удивил комментаторов и, похоже, нарушил оценку программы. AlphaGo ответила плохо, усугубила проблему и в итоге сдалась.
В статье журнала Time, посвященной победе Ли, эта победа была описана как подтверждение правоты чемпиона, который перед матчем предсказывал явный успех, но столкнулся с игрой, более сильной и странной, чем он ожидал. Для исследователей важность заключается не столько в восстановлении человеческого счета, сколько в поиске позиции, где выученное системой суждение дало сбой.
Системы машинного обучения могут давать сбои иначе, чем обычное программное обеспечение. Программа, написанная вручную, обычно ведет себя некорректно из-за неправильного правила или реализации. Нейронная сеть может демонстрировать исключительные результаты на знакомых распределениях примеров, а затем выносить неверное суждение при столкновении с необычным шаблоном. Ее внутреннее представление распределено по множеству изученных параметров, что затрудняет определение точной причины ошибки.
Похоже, ход Ли вызвал подобную неожиданность. После того, как положение AlphaGo ухудшилось, последующие решения показались профессионалам непоследовательными, что говорит о том, что оценки ценности, которыми руководствовалась система поиска, стали ненадежными. В анализе четвертой игры, проведенном Wired, отмечалось, что после неожиданного клина машина допустила ряд ошибок, что стало самым явным доказательством в матче того, что креативная игра может вывести ее за рамки хорошо выверенных суждений.
Финальная игра проверяет способность к восстановлению
Соревнования во вторник преподнесли дополнительный урок. AlphaGo допустила заметную ошибку в начале игры и отстала, но не сдалась. Она укрепила свои позиции в центре, отразила атаки Ли и постепенно восстановила позиции, пока он не сдался примерно через пять часов.
В репортаже Wired о финальной игре особое внимание уделялось камбэку. Система, обученная максимизировать вероятность победы, не обязана играть безупречно; она должна определить путь, исходя из реальной ситуации. Успешное возвращение в игру против сильного соперника говорит о том, что сила AlphaGo не ограничивается выполнением предпочтительных комбинаций, имея раннее преимущество.
В то же время, результат не следует путать с адаптацией во время матча в человеческом понимании. DeepMind не переобучала AlphaGo между играми, чтобы учесть то, что показал Ли. Версия, сыгранная во вторник, по сути, была той же самой системой. Ли же, напротив, изучил тенденции программы, изменил свой подход и попросил сыграть черными в финале, поскольку посчитал это более сложным испытанием.
В заключительной статье The Guardian описывалась непростая победа после сильного старта Ли. Напряженная игра подтверждает более важный момент: если рассматривать результаты пяти состязаний, AlphaGo оказалась значительно сильнее, однако отдельные игры по-прежнему были чувствительны к новизне, ошибкам и стратегическим решениям.
Что передается за пределы совета директоров?
Методы, лежащие в основе AlphaGo, имеют потенциал везде, где решения принимаются в больших пространствах поиска и с использованием шаблонов, слишком сложных для определения вручную. Нейронные сети уже помогают распознавать речь и изображения. Обучение с подкреплением может внести вклад в робототехнику, управление ресурсами и научные открытия, позволяя системам совершенствоваться за счет структурированной обратной связи.
Но игра в Го — это необычайно чистая среда. Каждое допустимое действие определено, вся соответствующая информация на доске видна, а успех имеет однозначную меру. Реальные системы должны обрабатывать недостающие данные, противоречивые цели, человеческие ценности и меняющиеся условия. Медицинская рекомендация или автономная машина не могут просто исследовать ошибки посредством миллионов попыток самостоятельной игры без каких-либо последствий.
Google о ходе соревнований этот матч представлен как демонстрация того, как системы машинного обучения справляются с проблемой, которая когда-то требовала человеческой интуиции. Игры подтверждают это утверждение, но они также показывают, почему тестирование должно включать в себя нестандартные и необычные условия. Средняя производительность может скрывать уязвимые места, которые обнаруживает только креативный противник.
Ли оказал именно такую услугу. Его единственная победа не умаляет результата 4 к 1; она делает это достижение более ценным с научной точки зрения. AlphaGo продемонстрировала способность к стратегическому мышлению, превосходящую возможности предыдущих игровых программ, а четвертая игра выявила недостаток, который ее разработчики могут проанализировать, а не просто строить предположения.
Таким образом, матч заканчивается без простого противостояния человеческого интеллекта и машинных вычислений. AlphaGo училась на играх людей, совершенствовалась благодаря самообучению и создавала ходы, которые открывали профессионалам новые возможности. Ли адаптировался к машине и обнаружил слабость, которую она сама себе не осознавала. Самым продуктивным наследием может стать этот обмен: мощные обучающиеся системы, которым бросают вызов люди, способные их удивить.