Microsoft запустила набор новых инструментов в Azure, направленных на повышение безопасности генеративных приложений искусственного интеллекта, уделяя особое внимание чат-ботам.
Ожидается, что эти инструменты помогут организациям снизить различные риски, связанные с развертыванием генеративного искусственного интеллекта, включая опасения по поводу оскорбительного контента и быстрого внедрения.
Последние предложения включают в себя такие функции, как мониторинг в реальном времени для отслеживания и отключения оскорбительного контента или пользователей, а также защиту от новых векторов атак, таких как взлом тюрьмы и быстрые инъекции.
Microsoft повышает безопасность чат-ботов
Согласно недавнему опросу McKinsey, девять из 10 (91%) корпоративных руководителей выражают чувство неготовности к рискам, связанным с генеративным ИИ, несмотря на преимущества, которые он может принести их бизнесу с точки зрения производительности и эффективности.
Новые инструменты Microsoft направлены на решение этих проблем и являются кульминацией технических инноваций и исследований, основанных на собственном опыте работы с такими собственными продуктами, как Copilot.
Многомиллиардные инвестиции Microsoft в OpenAI, несомненно, сыграли в этом важную роль, открыв различные возможности для исследований и опыта в области искусственного интеллекта.
Оперативные внедрения включают в себя манипулирование системами искусственного интеллекта для создания вредоносного непреднамеренного контента. Система Prompt Shields от Microsoft предназначена для блокирования как прямых, так и косвенных быстрых атак. Инструмент использует передовые алгоритмы машинного обучения и обработку естественного языка для анализа подсказок и сторонних данных на предмет потенциально злонамеренных намерений.
Ожидается, что новейшие инструменты Microsoft не только решат проблемы безопасности, но и повысят надежность генеративных приложений искусственного интеллекта, автоматически оценивая их посредством стресс-тестирования, чтобы гарантировать, что такие риски, как взлом тюрьмы, сведены к минимуму.
Еще одно важное обновление, мониторинг в реальном времени, предназначено для того, чтобы позволить разработчикам отслеживать входные и выходные данные, которые активируют функции безопасности, что позволяет им настраивать серверную часть и настраивать конфигурации фильтров контента для повышения безопасности вручную.
Кажется, что каждое объявление, связанное с ИИ, которое Microsoft делала в последние месяцы, подтверждало свою приверженность ответственному и безопасному ИИ, и эти новейшие инструменты, безусловно, являются тому подтверждением.