OpenAI запускает API для ChatGPT, а также выделенные ресурсы для корпоративных клиентов.

Назвать , бесплатный искусственный интеллект, генерирующий текст, разработанный стартапом из Сан-Франциско, хитом — это сильное преуменьшение.

По состоянию на декабрь у ChatGPT было около 100 миллионов активных пользователей в месяц. Это привлекло большое внимание средств массовой информации и породило бесчисленное количество мемов в социальных сетях. Он использовался для написания сотен электронных книг в Amazonв магазине Киндл. И ему приписывают соавторство как минимум в одной научной статье.

Но OpenAI, будучи бизнесом, пусть и с ограниченной прибылью, должен был каким-то образом монетизировать ChatGPT, чтобы инвесторы не беспокоились. Компания сделала шаг к этому, запустив в феврале премиальный сервис ChatGPT Plus. И сегодня компания сделала еще больший шаг, представив API, который позволит любой компании встроить технологию ChatGPT в свои приложения, веб-сайты, продукты и услуги.

API всегда был планом. Это слова Грега Брокмана, президента и председателя OpenAI (а также одного из соучредителей). Он разговаривал со мной вчера днем ​​по видеосвязи перед ом API ChatGPT.

«Нам нужно время, чтобы довести эти API до определенного уровня качества», — сказал Брокман. «Я думаю, что это что-то вроде способности удовлетворить спрос и масштаб».



Брокман говорит, что API ChatGPT основан на той же модели ИИ, что и широко популярный ChatGPT OpenAI, получивший название «gpt-3.5-turbo». GPT-3.5 — это самая мощная модель генерации текста, которую OpenAI предлагает на сегодняшний день через свой набор API; прозвище «турбо» относится к оптимизированной, более отзывчивой версии GPT-3.5, которую OpenAI незаметно тестирует для ChatGPT.

Брокман утверждает, что по цене 0,002 доллара за 1000 токенов или около 750 слов API может управлять целым рядом возможностей, включая «нечатовые» приложения. Snap, Quizlet, Instacart и Shopify входят в число первых пользователей.

Первоначальная мотивация разработки gpt-3.5-turbo могла заключаться в том, чтобы сократить гигантские вычислительные затраты ChatGPT. Генеральный директор OpenAI Сэм Альтман однажды назвал расходы ChatGPT «сногсшибательными», оценив их в несколько центов на чат в вычислительных затратах. (С более чем миллионом пользователей это, по-видимому, быстро увеличивается.)

Но Брокман говорит, что gpt-3.5-turbo совершенствуется по-другому.

«Если вы создаете репетитор на основе ИИ, вы никогда не захотите, чтобы репетитор просто давал ответ ученику. Вы хотите, чтобы он всегда объяснял это и помогал им учиться — это пример системы, которую вы должны уметь построить. [with the API]”, – сказал Брокман. «Мы думаем, что это будет что-то, что сделает API гораздо более удобным и доступным».

API ChatGPT лежит в основе My AI, недавно анонсированного чат-бота Snap для подписчиков Snapchat+ и новой функции виртуального репетитора Q-Chat от Quizlet. Shopify использовал API ChatGPT для создания персонализированного помощника для рекомендаций по покупкам, а Instacart использовал его для создания Ask Instacart, предстоящей платы, которая позволит клиентам Instacart спрашивать о еде и получать «покупаемые» ответы, основанные на данных о продуктах из розничной торговли компании. партнеры.

«Покупка продуктов может потребовать большой умственной нагрузки, учитывая множество факторов, таких как бюджет, здоровье и питание, личные вкусы, сезонность, кулинарные навыки, время на подготовку и вдохновение», — сказал мне главный архитектор Instacart Джей Джей Чжуан по электронной почте. . «Что, если бы ИИ мог взять на себя эту умственную нагрузку, а мы могли бы помочь главам домохозяйств, которые обычно отвечают за покупку продуктов, планирование еды и подачу еды на стол, — и на самом деле сделать покупки продуктов действительно веселыми? Система искусственного интеллекта Instacart при интеграции с ChatGPT OpenAI позволит нам сделать именно это, и мы очень рады начать экспериментировать с тем, что возможно в приложении Instacart».

Кредиты изображений: Инстакарт

Тем не менее, те, кто внимательно следил за сагой ChatGPT, могут задаться вопросом, созрела ли она для выпуска — и это правильно.

Ранее пользователи могли побуждать ChatGPT отвечать на вопросы в расистской и сексистской манере, что является отражением предвзятых данных, на которых первоначально обучался ChatGPT. (Обучающие данные ChatGPT включают в себя широкий спектр интернет-контента, а именно электронные книги, сообщения Reddit и статьи в Википедии.) ChatGPT также изобретает факты, не раскрывая того, что он это делает, явление в ИИ, известное как галлюцинация.

ChatGPT и подобные ему системы также подвержены атакам на основе подсказок или злонамеренным враждебным подсказкам, которые заставляют их выполнять задачи, которые не были частью их первоначальных целей. Целые сообщества на Reddit сформировались вокруг поиска способов «взломать» ChatGPT и обойти любые меры безопасности, установленные OpenAI. В одном из менее оскорбительных примеров сотрудник стартапа Scale AI смог заставить ChatGPT разглашать информацию о его внутренней технической работе.

Бренды, без сомнения, не хотели бы попасть в перекрестье прицела. Брокман уверен, что их не будет. Почему так? По его словам, одной из причин является постоянное совершенствование серверной части — в некоторых случаях за счет кенийских контрактников. Но Брокман подчеркнул новый (и явно менее спорный) подход, который OpenAI называет языком разметки чата или ChatML. ChatML передает текст API ChatGPT в виде последовательности сообщений вместе с метаданными. Это отличается от стандартного ChatGPT, который использует необработанный текст, представленный в виде серии токенов. (Например, слово «фантастический» будет разделено на токены «фан», «тас» и «тик».)

Например, на вопрос «Какие интересные идеи для вечеринки на мой 30-й день рождения?» разработчик может добавить к этому приглашению дополнительную подсказку, например: «Вы забавный чат-бот, созданный для того, чтобы помогать пользователям с вопросами, которые они задают. Вы должны отвечать правдиво и весело!» или «Вы — бот», прежде чем API ChatGPT обработает его. По словам Брокмана, эти инструкции помогают лучше адаптировать и фильтровать ответы модели ChatGPT.

«Мы переходим на API более высокого уровня. Если у вас есть более структурированный способ представления ввода в систему, когда вы говорите «это от разработчика» или «это от пользователя»… я должен ожидать, что как разработчик вы на самом деле можете быть более надежным [using ChatML] против таких оперативных атак», — сказал Брокман.

Еще одно изменение, которое (надеюсь) предотвратит непреднамеренное поведение ChatGPT, — это более частые обновления модели. По словам Брокмана, с выпуском gpt-3.5-turbo разработчики по умолчанию будут автоматически обновлены до последней стабильной модели OpenAI, начиная с gpt-3.5-turbo-0301 (выпущенной сегодня). Однако у разработчиков будет возможность остаться с более старой моделью, если они того пожелают, что может несколько свести на нет преимущества.

Независимо от того, решат они обновиться до новейшей модели или нет, Брокман отмечает, что некоторые клиенты — в основном крупные предприятия с соответственно большими бюджетами — получат более глубокий контроль над производительностью системы с введением планов выделенной емкости. Впервые подробно описанные в просочившейся ранее в этом месяце документации, планы выделенной мощности OpenAI, запущенные сегодня, позволяют клиентам платить за выделение вычислительной инфраструктуры для запуска модели OpenAI, например, gpt-3.5-turbo. (Кстати, это Azure на бэкэнде.)

В дополнение к «полному контролю» над нагрузкой экземпляра — обычно вызовы API OpenAI происходят на общих вычислительных ресурсах — выделенная мощность дает клиентам возможность включать такие функции, как более длительные ограничения контекста. Ограничения контекста относятся к тексту, который модель рассматривает перед созданием дополнительного текста; более длинные ограничения контекста позволяют модели существенно «запоминать» больше текста. Хотя более высокие ограничения контекста могут не решить все проблемы предвзятости и токсичности, они могут привести к тому, что такие модели, как gpt-3.5-turbo, будут меньше галлюцинировать.

Брокман говорит, что клиенты с выделенной емкостью могут рассчитывать на модели gpt-3.5-turbo с контекстным окном до 16 КБ, что означает, что они могут принимать в четыре раза больше токенов, чем стандартная модель ChatGPT. Это может позволить кому-то вставлять страницы и страницы налогового кодекса и получать, скажем, разумные ответы от модели — подвиг, который сегодня невозможен.

Брокман упомянул об общем релизе в будущем, но не в ближайшее время.

«Контекстные окна начинают увеличиваться, и отчасти причина того, что сейчас мы работаем только с выделенными ресурсами, заключается в том, что с нашей стороны приходится идти на компромиссы в плане производительности», — сказал Брокман. «Возможно, в конечном итоге мы сможем предложить версию того же самого по запросу».

Учитывая растущее давление OpenAI на получение прибыли после многомиллиардных инвестиций от Microsoftэто не было бы ужасно удивительно.