GPT, чтобы управлять ими всеми: обучение модели с одним триллионом параметров, поддерживаемой Intel и правительством США, только началось

GPT, чтобы управлять ими всеми: обучение модели с одним триллионом параметров, поддерживаемой Intel и правительством США, только началось

Ученые тренируют гигантскую генеративную систему искусственного интеллекта с одним триллионом парав, получившую название «ScienceGPT», на основе научных данных недавно созданного суперкомпьютера «Аврора».

Модель искусственного интеллекта AuroraGPT, которую обучают исследователи в Аргоннской национальной лаборатории (ALN) в Иллинойсе, , основана на графических процессорах Intel Ponte Vecchio, обеспечивающих основную вычислительную мощность, и поддерживается правительством США.

По данным HPC Wire, обучение может занять месяцы, при этом обучение в настоящее время ограничено 256 из примерно 10 000 узлов суперкомпьютера Aurora, прежде чем со временем оно будет увеличено. Даже учитывая это ограничение, Intel и ANL тестируют обучение модели только на цепочке из 64 узлов, с осторожностью из-за уникальной конструкции Aurora как суперкомпьютера.

Внутри «НаукиGPT»

ScienceGPT с одним триллионом параметров станет одним из крупнейших LLM. Хотя он и не будет соответствовать размеру заявленного GPT-4 с 1,7 триллиона параметров, разработанного OpenAI, он будет почти в два раза больше, чем языковая модель Pathways с 560 миллиардами параметров, которая лежит в основе Bard от Google.

«Он объединяет весь текст, коды, конкретные научные результаты и статьи в модель, которую наука может использовать для ускорения исследований», — сказал Оги Бркич, вице-президент и генеральный менеджер по решениям для центров обработки данных и высокопроизводительных вычислений, на брифинге для прессы.



Он будет работать как ChatGPT, но на данный момент неясно, будет ли он мультимодальным, поскольку будет генерировать различные виды мультимедиа, такие как текст, изображения и видео.

Aurora, который станет вторым экзафлопсным суперкомпьютером в истории США, только что зарекомендовал себя в списке Top500 самых мощных суперкомпьютеров после многих лет разработки.

Это второй по мощности суперкомпьютер после Froniter. Он оснащен 60 000 графическими процессорами Intel и содержит 10 000 вычислительных узлов в 166 стойках, а также более 80 000 сетевых узлов.

Однако его работа все еще находится на стадии завершения и, вероятно, превысит производительность Frontier, когда будет полностью набрана скорость, а все тестирование и точная настройка будут завершены, сообщает Top500.

Больше от TechRadar Pro