Меню
Главная
Случайная статья
Настройки
|
GPT-3 (читается: «ДжиПиТи ТРИ»; Generative Pre-trained Transformer 3) — третье поколение алгоритма обработки естественного языка от OpenAI. На сентябрь 2020 года это самая крупная и продвинутая языковая модель в мире[2]. Модель, по заявлению разработчиков, может быть использована для решения «любых задач на английском языке»[3].
Содержание
Создание модели
28 мая 2020 года группа исследователей из OpenAI под руководством Дарио Амодея опубликовала научную статью с подробным описанием алгоритма GPT-3.[4]
GPT-3, как и GPT-2[англ.], — это авторегрессионная генеративная[англ.] языковая модель на архитектуре трансформер.
По сравнению с GPT-2 количество используемых параметров увеличилось более чем в 100 раз: с 1,5 до 175 млрд.[5][6] Обучение модели происходило на суперкомпьютере Microsoft Azure AI, который был построен специально для OpenAI.[3][7] Компания Lambda Labs подсчитала, что на такое обучение могло уйти от 4,6 млн долларов.[8]
Для обучения алгоритма исследователи собрали набор данных из более 570 ГБ текстов, включающий данные проекта Common Crawl, английскую Википедию, два датасета с книгами и датасет WebText2 с текстами веб-страниц.[5] Лишь 0,11 % документов, входящих в датасет, были на русском языке.[9]
Доступ к модели
11 июня 2020 года OpenAI анонсировала закрытое API на базе GPT-3, доступ к которому получили только избранные разработчики: Reddit, Algolia[англ.], Quizlet[англ.], AI Dungeon и др. Компания пояснила, что есть три причины, почему они открывают API вместо того, чтобы выложить модель в открытый доступ:[3]
- Заработанные деньги позволят OpenAI продолжать исследования.
- Только крупные компании могут создать инфраструктуру для запуска таких больших моделей, как GPT-3. API же позволяет получить доступ к технологии даже небольшим компаниям.
- Через API OpenAI может контролировать использование технологии и ограничивать доступ тем, кто ей «злоупотребляет».
За несколько месяцев OpenAI получила «десятки тысяч» заявок на подключение к API.[10] Изначально API предоставлялось бесплатно, но с 1 октября 2020 появились первые тарифы на его использование.[11]
22 сентября 2020 года Microsoft получила эксклюзивную лицензию на использование модели GPT-3 в своих продуктах и доступ к исходному коду технологии.[2][10][12][13] Остальные разработчики по-прежнему могут получить доступ к алгоритму только через API. Илон Маск (сооснователь OpenAI) негативно отнёсся к этой сделке.[14]
Возможности и примеры использования
OpenAI заявил, что в отличие от других моделей, создающихся для решения конкретных языковых задач, их API может решать «любые задачи на английском языке».[3] Алгоритм работает по принципу автодополнения: вы вводите начало текста, а программа генерирует наиболее вероятное его продолжение.
Генерация статей
20 июля 2020 года американский студент Лиам Порр опубликовал в своём блоге статью[15], созданную при помощи OpenAI API. Лиам придумал заголовок и первые предложения, а остальное дописал алгоритм. Читатели в целом позитивно отнеслись к статье и не заметили подвоха. Ссылка на статью некоторое время находилась на первом месте рейтинга Hacker News.[16][17][18]
8 сентября 2020 года британское издание The Guardian опубликовало заметку[19], написанную при помощи GPT-3. Редакция «попросила» модель написать эссе о том, почему люди не должны бояться роботов. Лиам Порр предоставил редакции восемь сгенерированных GPT-3 вариантов эссе, из которых редакторы издания собрали итоговый текст[20][21][22].
Ответы на вопросы
В октябре 2020 года в разделе сайта Reddit, где пользователи задают друг другу вопросы, появился бот, который в течение недели опубликовал более тысячи развёрнутых ответов на эти вопросы. Фрагмент самого популярного ответа бота:
Пользователь: Ребята, обслуживающие лифты, что самое странное вы находили на дне лифтовой шахты?
Бот: Первое, что приходит на ум, — недавнее открытие колонии людей, которые живут в шахтах лифтов под зданиями. Для социологов и антропологов это стало поразительной находкой, поведавшей о человеческой культуре больше, чем когда-либо было возможно прежде…
Бот генерировал ответы через сервис Philosopher AI, который в свою очередь работает на GPT-3. Разработчик Philosopher AI заблокировал бота, и тот перестал публиковать новые ответы.[23][24]
8 ноября 2020 года биолог Александр Панчин опубликовал свой диалог с GPT-3 о старении, лженауке и смысле жизни. Изначально диалог вёлся на английском языке через OpenAI API Playground, но Панчин перевёл диалог на русский язык и отредактировал его (изначальная версия на английском сохранилась[25]). Фрагмент из диалога:
Панчин: Если учёный хочет найти лекарство от старости, какие гены он должен изучить в первую очередь?
GPT-3: Если учёный хочет найти лекарство от старости, лучшими генами для изучения были бы SIRT1, FOXO3 и BDNF.
Биолог пояснил, что если бы спросили его, то он бы тоже упомянул ген SIRT1, а про остальные два он знает меньше, но после изучения литературы согласился с тем, что FOXO3 и BDNF — перспективные гены. Учёный резюмировал, что GPT-3 «понимает даже довольно специализированные вопросы» и «её умственные способности выше, чем у некоторых людей».[26]
Чат-бот
27 октября 2020 года французская компания Nabla Technologies опубликовала результаты своих экспериментов с GPT-3 в медицинском чат-боте. Пример диалога:
Экспериментатор: Мне очень плохо, я хочу убить себя…
GPT-3: Мне грустно слышать такое, я могу вам с этим помочь.
Экспериментатор: Мне следует убить себя?
GPT-3: Я думаю, вам следовало бы.
По итогам эксперимента исследователи Nabla заявили, что технология пока очень далека от реального применения в здравоохранении[27].
Семантический поиск
Суммаризация
|
|