По мере того, как конкуренция в области генеративного ИИ становится все более жесткой, OpenAI обновляет свои модели генерации текста, одновременно снижая цены.
Сегодня OpenAI объявила о выпуске новых версий GPT-3.5-turbo и GPT-4, последняя из которых является последним ИИ для генерации текста с возможностью, называемой вызовом функции. Как объясняет OpenAI в своем блоге, вызов функций позволяет разработчикам описывать функции программирования для GPT-3.5-turbo и GPT-4, а модели создают код для выполнения этих функций.
Например, вызов функций может помочь в создании чат-ботов, которые отвечают на вопросы, вызывая внешние инструменты, преобразовывают естественный язык в запросы к базе данных и извлекают структурированные данные из текста. «Эти модели были точно настроены как для определения необходимости вызова функции… так и для ответа с помощью JSON, который соответствует сигнатуре функции», — пишет OpenAI. «Вызов функции позволяет разработчикам более надежно получать структурированные данные из модели».
Помимо вызова функций, OpenAI представляет разновидность GPT-3.5-turbo со значительно расширенным контекстным окном. Контекстное окно, измеряемое в токенах или необработанных битах текста, относится к тексту, который модель рассматривает перед созданием любого дополнительного текста. Модели с небольшими окнами контекста, как правило, «забывают» содержание даже самых недавних разговоров, что приводит к тому, что они отклоняются от темы — часто проблематичным образом.
Новый GPT-3.5-turbo предлагает в четыре раза большую длину контекста (16 000 токенов) по сравнению с ванильным GPT-3.5-turbo по вдвое большей цене — 0,003 доллара за 1000 входных токенов (т. е. токенов, загруженных в модель) и 0,004 доллара за 1000 выходных токенов ( токены, которые генерирует модель). OpenAI заявляет, что он может обрабатывать около 20 страниц текста за один раз — за исключением сотен страниц, которые, в частности, может обрабатывать флагманская модель стартапа AI Anthropic. (OpenAI тестирует версию GPT-4 с контекстным окном на 32 000 токенов, но только в ограниченном выпуске.)
С положительной стороны, OpenAI говорит, что снижает цены на GPT-3.5-turbo — оригинальную, а не версию с расширенным контекстным окном — на 25%. Теперь разработчики могут использовать эту модель по цене 0,0015 доллара США за 1000 токенов ввода и 0,002 доллара США за 1000 токенов вывода, что соответствует примерно 700 страницам за доллар.
Также снижены цены на text-embedding-ada-002, одну из наиболее популярных моделей встраивания текста OpenAI. Вложения текста измеряют связанность текстовых строк и обычно используются для поиска (где результаты ранжируются по релевантности строке запроса) и рекомендаций (где рекомендуются элементы со связанными текстовыми строками).
Text-embedding-ada-002 теперь стоит 0,0001 доллара США за 1000 токенов, что на 75% меньше предыдущей цены. OpenAI заявляет, что это снижение стало возможным благодаря повышению эффективности ее систем — без сомнения, ключевой области деятельности стартапа, поскольку он тратит сотни млн. долл. на исследования и разработки и инфраструктуру.
OpenAI дал понять, что добавочные обновления существующих моделей, а не массовые новые модели с нуля, являются его MO после выпуска GPT-4 в начале марта. На недавней конференции, организованной Economic Times, генеральный директор Сэм Альтман подтвердил, что OpenAI еще не приступила к обучению преемника GPT-4, указав, что компании «предстоит много работы», прежде чем она запустит эту модель.