САН-ФРАНЦИСКО — На этой неделе компания OpenAI выпустила предварительную версию ChatGPT, системы разговорного искусственного интеллекта, предназначенной для ответа на уточняющие вопросы, подтверждения ошибок, оспаривания неверных предположений и отклонения некоторых неуместных запросов. В своем объявлении от 30 ноября представила систему как родственную модель InstructGPT и сделала ее доступной бесплатно, пока OpenAI собирает отзывы о ее сильных и слабых сторонах, а также о поведении в плане безопасности.

Этот релиз примечателен не столько тем, что компьютеры могут генерировать текст — большие языковые модели делают это уже несколько лет — сколько тем, что OpenAI объединила мощную генеративную модель с диалогом и процессом обучения, основанным на обратной связи, призванным сделать ответы более полезными для обычных пользователей. Этот интерфейс меняет способ взаимодействия людей с языковой моделью: вместо того, чтобы составлять один запрос и получать одно завершение, пользователь может задавать вопросы, уточнять, исправлять и перенаправлять систему в течение нескольких ходов.

От прогнозирования текста до следования инструкциям

Техническая преемственность прослеживается в работах OpenAI над все более крупными генеративными моделями. В статье GPT-3 было показано, что масштабирование языковой модели до 175 миллиардов параметров может обеспечить высокую производительность при малом количестве примеров в широком диапазоне задач без специфической тонкой настройки. Однако предсказание следующего слова также выявило фундаментальное несоответствие: модель, обученная продолжать текст, не обучается автоматически безопасно и точно следовать намерениям пользователя.

В ответ на это OpenAI включила человеческие предпочтения в процесс обучения. В январе компания описала InstructGPT— семейство моделей, которые сначала дорабатываются на демонстрационных примерах, написанных людьми, а затем оптимизируются с использованием ранжирования результатов работы модели. В соответствующей исследовательской работе сообщалось, что эксперты-люди, как правило, отдавали предпочтение результатам работы модели InstructGPT с 1,3 миллиардами параметров по сравнению с результатами работы гораздо более крупной модели GPT-3 с 175 миллиардами параметров, что демонстрирует, что соответствие инструкциям может иметь такое же значение для воспринимаемой полезности, как и сам масштаб.

ChatGPT применяет аналогичный метод к диалогам. OpenAI утверждает, что люди-тренеры ИИ предоставили данные диалогов, проигрывая обе стороны разговора и имея доступ к предложениям, написанным моделью. Затем компания смешала этот набор диалогов со своими данными InstructGPT и использовала обучение с подкреплением на основе обратной связи от людей (RLHF) для ранжирования и улучшения ответов. Процедура обучения не устраняет ошибки модели; она пытается сместить модель в сторону ответов, которые люди считают более полезными и подходящими.

Диалог создает новые возможности — и новые сценарии сбоев

Разговорный формат позволяет ChatGPT сохранять контекст между репликами и корректировать ответ, когда пользователь указывает на проблему. Он также позволяет модели запрашивать или отвечать на уточнения и отклонять запросы в соответствии с правилами безопасности. Такое поведение основано на более ранних попытках OpenAI использовать человеческие суждения в языковых системах. В 2020 году исследователи показали, что модели можно обучать для составления кратких изложений с обратной связью от человека, используя сравнение между вариантами резюме для улучшения качества результата, а не полагаясь только на фиксированную целевую переменную при обучении.

OpenAI также исследовала модели, взаимодействующие с внешней информацией. В рамках проекта WebGPT языковая модель получила текстовый браузер и была обучена отвечать на длинные вопросы с использованием цитат. Эта работа отличается от ChatGPT, который в текущей предварительной версии OpenAI описывается как диалоговая модель, а не как сервис веб-исследований в реальном времени, но она демонстрирует более широкое направление исследований: объединение больших языковых моделей с интерфейсами, обратной связью от пользователей и инструментами, которые ограничивают или улучшают их поведение.

Компания прямо заявляет, что ChatGPT остается ненадежным. В уведомлении о запуске предупреждается, что модель может выдавать правдоподобно звучащие, но неверные или бессмысленные ответы, может быть чувствительна к небольшим изменениям в формулировках, может быть чрезмерно многословной и иногда может угадывать намерения пользователя, вместо того чтобы задать уточняющий вопрос. OpenAI также признает, что системы безопасности могут выдавать как ложные срабатывания, так и сбои в блокировке вредоносных инструкций.

Контролируемый предварительный просмотр, а не готовый продукт

Решение OpenAI выпустить ChatGPT в качестве предварительной исследовательской версии отражает повторяющуюся проблему в разработке передовых методов искусственного интеллекта: слабые стороны модели трудно полностью охарактеризовать в лабораторных условиях. Широкое использование может выявить враждебные подсказки, неожиданные приложения, систематические ошибки и распространенные недоразумения, которые не обнаруживаются при формальной оценке. Компания просит пользователей оставлять отзывы о проблемных результатах и ​​предлагает конкурс отзывов на особенно полезные отчеты.

Такой подход основан на уроках, извлеченных из предыдущих релизов. В обсуждении GPT-2 , проведенном OpenAI в 2019 году, подчеркивалась потенциальная возможность злоупотребления все более согласованной генерацией текста, и первоначально использовалась стратегия поэтапного выпуска, а не немедленная публикация самой крупной модели. С тех пор область быстро продвинулась в сторону более крупных систем и более широкого внедрения, а вопросы, касающиеся дезинформации, выдачи себя за другое лицо, предвзятости и автоматического убеждения, стали более конкретными.

Таким образом, ChatGPT представляет собой одновременно и интерфейс, похожий на продукт, и эксперимент по внедрению. Его полезность зависит от понимания пользователем того, что беглое изложение мысли — это не то же самое, что проверенный факт. Модель генерирует ответы на основе шаблонов, изученных во время обучения; она не обладает человеческим суждением, и OpenAI не представляет предварительную версию как безошибочный источник.

Интерфейс может иметь такое же значение, как и модель

Непосредственная техническая значимость этого релиза заключается в сочетании функциональной языковой модели, привычного интерфейса чата и программы обучения, ориентированной на человеческие предпочтения. Предыдущие языковые модели часто требовали от пользователей изучения форматов подсказок или взаимодействия через инструменты разработчика. ChatGPT снижает этот барьер, превращая обычный разговор в панель управления.

Эта простота может расширить аудиторию генеративного ИИ за пределы исследователей и программистов. Люди могут запрашивать объяснения, черновики, помощь в коде, резюме или преобразования в одном окне, а затем уточнять результат в диалоге. В то же время, простота использования повышает ставки известных ограничений: авторитетный тон может скрывать неверный ответ, а итеративный диалог может побудить пользователей доверять системе больше, чем того заслуживает ее базовая надежность.

На данный момент OpenAI рассматривает эти противоречия как суть предварительного тестирования. ChatGPT не позиционируется как конечная точка разработки языковых моделей. Это публичная проверка того, могут ли обучение с обратной связью от человека и диалог сделать большие генеративные модели более полезными, управляемыми и безопасными, а также того, в каких случаях эти методы по-прежнему оказываются неэффективными, когда система попадает в руки гораздо более широкой группы пользователей.