В субботу AlphaGo в третий раз подряд одержала победу над Ли Седолем, выиграв матч из пяти партий у одного из сильнейших игроков в го в мире и преодолев порог, до которого, по мнению многих исследователей в области искусственного интеллекта, еще далеко.
Ли сдался после 176 ходов в Сеуле, обеспечив программе, созданной подразделением DeepMind компании Google, непреодолимое преимущество 3:0 за две партии до конца. Результат – это больше, чем просто очередная победа машины в настольной игре. Огромное количество возможных позиций в го и его зависимость от оценки структуры, влияния и долгосрочного баланса противостояли методам грубой силы, которые покорили шахматы.
Агентство Reuters сообщило из Сеула , что победа удивила даже разработчиков AlphaGo, и Ли пришлось извиниться за то, что он назвал бессильной демонстрацией. 33-летний чемпион Южной Кореи, обладатель 18 международных титулов, вышел на матч с уверенностью, что человеческий опыт и интуиция выявят ограничения программного обеспечения.
Почему Go превосходит традиционные методы поиска?
Доска для игры в го имеет размеры 19 на 19 линий, что создает 361 возможное место для первого хода и астрономическое пространство для последующих конфигураций. В отличие от шахмат, в этой игре нет простого подсчета материи для оценки того, кто лидирует. Группа камней может быть живой, уязвимой, влиятельной или расходной в зависимости от развития событий на дальней границе доски. Сильные игроки часто описывают свой выбор как интуитивный, поскольку исчерпывающий расчет невозможен.
Это сделало игру в Го необычайно сложной для вычислений. Традиционные игровые системы просматривают дерево возможных ходов и оценивают полученные позиции. В Го дерево расширяется слишком быстро, и позиции слишком сложно точно оценить. Программы улучшились благодаря методам Монте-Карло — выборке множества возможных продолжений — но до недавнего времени они не могли победить лучших профессионалов без форы.
AlphaGo сочетает поиск с обучением на основе экспертных оценок. Система, описанная в январской статье DeepMind в журнале Nature, использует «сеть политики» для выбора перспективных ходов и «сеть ценности» для оценки вероятности выигрыша из позиции. Эти сети сужают область поиска, позволяя программе тратить вычисления на варианты, которые, как показал опыт, являются правдоподобными.
Получение опыта происходило в два этапа. Сначала AlphaGo изучала закономерности на основе записанных игр, сыгранных сильными людьми. Затем она сыграла миллионы игр против своих собственных версий, используя обучение с подкреплением для совершенствования своих навыков как в победах, так и в поражениях. Этот метод позволяет ей выявлять стратегии, эффективные даже тогда, когда они не похожи на традиционную профессиональную игру.
Три игры расширяют доказательства
Первая игра показала, что AlphaGo может выдержать давление реального матча против чемпиона 9-го дана. Ли сдался примерно через три с половиной часа. В сообщении Reuters о первом матче в среду отмечалось, что Ли владел черными камнями и что десятки тысяч людей смотрели прямую онлайн-трансляцию, в ходе которой машина неоднократно находила точные ответы.
Вторая партия оказалась более тревожной для профессионалов, поскольку AlphaGo делала ходы, которые поначалу выглядели сомнительными, но впоследствии оказались эффективными. Удар плечом в начале партии, сыгранный на пятой линии, удивил комментаторов, привыкших к устоявшимся принципам дебюта. В анализе второй партии, проведенном Wired, игра программы была описана как креативная, а не просто точная, что является важным отличием для системы, которую часто изображают как калькулятор.
Третья игра в субботу выявила другую слабость. Ли стремился к осложнениям и инициировал борьбу за ко — повторяющуюся тактическую битву, в которой игроки должны отвечать на угрозы в других местах на доске. Такие позиции требуют глобального суждения и могут порождать длинные, разветвлённые последовательности. AlphaGo сохранила контроль, упростила ход игры там, где это было выгодно, и вынудила Ли сдаться.
В статье журнала Wired, посвященной решающей игре, подчеркивалось, что программа не просто выдержала тактическую сложность; она справилась с ней, сохранив при этом выгодное общее положение. Такое выступление ослабляет теорию о том, что человек-чемпион мог бы победить систему, направив игру в хаос.
Машинная интуиция основана на статистических данных, но всё же обладает огромной силой
Назвать AlphaGo интуитивной игрой не означает, что она мыслит или воспринимает игру так же, как человек. Ее нейронные сети кодируют статистические взаимосвязи между позициями на доске, ходами и результатами. Она не придает игре в Го культурного значения, не чувствует давления со стороны противника и не понимает, почему зрители считают тот или иной ход красивым.
Однако это различие не делает принимаемые решения менее значимыми. Человеческий опыт также зависит от распознавания образов, сформированного в результате многократного воздействия, хотя он интегрирован с языком, эмоциями, телесным опытом и сознательным мышлением. AlphaGo демонстрирует, что более узкая система может достаточно хорошо воспроизводить важную часть экспертного суждения, чтобы превзойти мастера в области, где явные правила не определяют хорошую стратегию.
Google, посвященном матчу, это соревнование было представлено как высшее испытание для программы, которая уже обыграла чемпиона Европы Фань Хуэя со счетом пять игр против нуля. Ли представлял собой гораздо более высокий уровень. Таким образом, победа в первых трех играх свидетельствует о том, что метод применим не только к сопернику, использованному для проверки первоначального исследования.
Цель системы также несколько отличается от человеческого стремления доминировать на доске. AlphaGo выбирает ходы, которые максимизируют предполагаемую вероятность победы, а не размер конечного преимущества. Спокойный ход, сохраняющий небольшое, но надежное преимущество, может быть предпочтительнее агрессивного хода, предлагающего больше очков с большим риском. Это может сделать игру системы консервативной в один момент и поразительно нетрадиционной в следующий.
От игр к обучению общего назначения
Главное утверждение DeepMind заключается в том, что методы, лежащие в основе AlphaGo, могут решать задачи, где полезные решения не могут быть полностью запрограммированы заранее. Нейронные сети уже поддерживают распознавание речи, классификацию изображений и рекомендательные системы. Обучение с подкреплением предлагает способ улучшения программного обеспечения за счет обратной связи, а не только на основе размеченных примеров.
Игра Го остается ограниченной средой: правила ясны, каждый ход виден, а успех определяется победой. Медицинская диагностика, робототехника, управление энергией и научные исследования содержат неопределенные данные, меняющиеся цели и последствия, которые нельзя свести к оценке. AlphaGo не доказывает, что одна система может напрямую перейти от игры на доске к решению этих задач.
Однако это показывает, что сочетание усвоенных представлений, смоделированного опыта и избирательного поиска может решить проблему, которая когда-то считалась требующей исключительно человеческой интуиции. В репортаже The Guardian после первой игры сразу же возникло сравнение с Deep Blue от IBM, но технический прогресс здесь иной: AlphaGo меньше полагается на перечисление возможных вариантов и больше на изучение того, какие из этих вариантов имеют значение.
Осталось две игры, и Ли заявил, что хочет одержать хотя бы одну победу. Их исход может выявить уязвимости программы или привести к новым примерам непривычной стратегии. Главный результат уже предрешен. Машина победила элитного человека в состязании, построенном на оценке ситуации в условиях невероятной сложности, и сделала это не один раз случайно, а трижды подряд.