OpenAI тестирует версию GPT-4, которая может «запоминать» длинные разговоры

создала версию GPT-4, своей последней модели генерации текста, которая может «запоминать» примерно 50 страниц контента благодаря значительно расширенному контекстному окну.

Это может показаться несущественным. Но это в пять раз больше информации, чем ванильный GPT-4 может хранить в своей «памяти», и в восемь раз больше, чем GPT-3.

«Модель позволяет гибко использовать длинные документы», — заявил Грег Брокман, соучредитель и президент OpenAI, во время демонстрации сегодня днем. «Мы хотим посмотреть, какие виды приложений [this enables]».

Там, где речь идет об искусственном интеллекте, генерирующем текст, контекстное окно относится к тексту, который модель рассматривает перед созданием дополнительного текста. В то время как такие модели, как GPT-4, «учатся» писать, тренируясь на миллиардах примеров текста, они могут рассматривать только небольшую часть этого текста за раз, что в основном определяется размером их контекстного окна.

Модели с небольшими контекстными окнами склонны «забывать» содержание даже самых недавних разговоров, что приводит к тому, что они отклоняются от темы. После нескольких тысяч слов или около того они также забывают свои первоначальные инструкции, вместо этого экстраполируя свое поведение на основе последней информации в своем контекстном окне, а не исходного запроса.



Аллен Пайк, бывший инженер-программист в Appleкрасочно объясняет это так:

“[The model] забудет все, чему вы пытаетесь его научить. Он забудет, что вы живете в Канаде. Он забудет, что у вас есть дети. Он забудет, что вы ненавидите бронировать вещи по средам, и, пожалуйста, перестаньте предлагать среды для вещей, черт возьми. Если ни один из вас некоторое время не упоминал свое имя, он тоже забудет об этом. Поговорите с [GPT-powered] характер на некоторое время, и вы можете начать чувствовать, что вы как бы сближаетесь с ним, попадаете в действительно крутое место. Иногда это немного сбивает с толку, но это случается и с людьми. Но в конце концов тот факт, что у него нет среднесрочной памяти, становится очевидным, и иллюзия развеивается».

Нам пока не удалось заполучить версию GPT-4 с расширенным окном контекста, gpt-4-32k. (OpenAI говорит, что обрабатывает запросы для моделей GPT-4 с высоким и низким контекстом «с разной скоростью в зависимости от емкости».) Но нетрудно представить, насколько разговоры с ним могут быть намного более убедительными, чем с предыдущими. ген модель.

Обладая большей «памятью», GPT-4 должен быть в состоянии относительно связно общаться в течение нескольких часов — даже нескольких дней — а не минут. И, возможно, что еще более важно, вероятность того, что он сойдет с рельсов, будет меньше. Как отмечает Пайк, одна из причин, по которой чат-боты, такие как Bing Chat, могут вести себя плохо, заключается в том, что их первоначальные инструкции — быть полезным чат-ботом, отвечать уважительно и т. д. — быстро вытесняются из контекстных окон дополнительными подсказками и ответами.

Это может быть немного более нюансировано, чем это. Но контекстное окно играет важную роль в обосновании моделей. без сомнения. Со временем мы увидим, какая ощутимая разница.