В этой статье объясняется, как поддерживать безопасный доступ к AI-приложениям в вашей организации.
Использование инструментов на базе AI увеличивает производительность, но также создаёт новые угрозы безопасности и риски для вашей организации. Например, пользователи могут вносить конфиденциальные данные в бесплатную версию AI-приложения, что наделяет поставщика приложения правом использовать эту информацию. Злоумышленники могут использовать LLM AI-приложения для извлечения конфиденциальных данных. По мере активного роста числа AI-приложений, службы безопасности сталкиваются с проблемой определения того, какие приложения используются и где передаются конфиденциальные данные.
Чтобы защитить вашу организацию и её конфиденциальные данные, обеспечив при этом безопасное использование AI-приложений, Cato рекомендует трёхчастную стратегию:
-
Получить видимость: понять, какие AI-приложения используются, кто их использует и как они применяются
-
Контроль доступа: реализуйте политики для регулирования доступа к AI-приложениям и соблюдения мер безопасности
-
Защита данных: обеспечьте защиту конфиденциальной информации, предотвращая несанкционированный доступ или распространение внутри AI-приложений
Использование сочетания различных функций позволяет вам внедрить эту стратегию, а также следить за трафиком и обеспечивать безопасность AI-приложений. Вы можете определить правила для Интернет-межсетевого экрана, чтобы контролировать доступ к категории AI-приложений и установить правила для конкретных AI-приложений. Кроме того, определите политику управления приложениями, чтобы гарантировать доступ пользователей только к вашему корпоративному арендаторам для AI-приложения или заблокировать детализированные действия, защищая вашу конфиденциальную информацию. В качестве дополнительного уровня защиты вы можете настроить политику управления данными для предотвращения передачи конфиденциальных данных в AI-приложения.
Знание и понимание рисков, связанных с AI-приложениями, используемыми в вашей организации, может предотвратить утечку данных, нарушение требований соответствия и потенциальные уязвимости безопасности. Понимание того, какие AI-приложения используются, кто их использует и как они взаимодействуют с конфиденциальными данными, позволяет вам применять политики, смягчать угрозы и обеспечивать ответственное использование AI. Видимость также помогает оценивать потенциальные риски AI-приложений, поддерживать управление и согласовывать использование AI с рамками безопасности вашей организации.
Панель управления GenAI Apps и каталог приложений обеспечивают вам видимость и понимание AI-приложений, используемых в вашей среде.
Панель управления GenAI Apps обеспечивает центральную, комплексную видимость использования приложений GenAI в реальном времени, включая теневая AI. Панель управления детализирует, какие AI-приложения используются по всей вашей организации и кем, и отслеживает все взаимодействия пользователей и обмен конфиденциальными данными. С помощью видимости, предоставляемой панелью управления GenAI Apps, вы можете заблаговременно предотвращать утечки данных, выявляя риски. Для получения дополнительной информации см. Использование панели управления GenAI Apps.
Каталог приложений содержит широкий спектр данных о безопасности, соответствии требованиям и общей информации по сотням AI-приложений и сервисов. Это также включает в себя предоставление всех анализов для проведения управления рисками третьих лиц (TPRM) для оценки риска использования данного приложения. Вы можете использовать каталог, чтобы узнать больше о приложении и решить, как его использовать в вашей организации. Для получения дополнительной информации см. Использование каталога приложений.
Аудит действий предоставляет возможность неавторизованной видимости всех действий пользователей в подключенном SaaS-приложении, даже если пользователь не подключен к облаку Cato. Microsoft Copilot и ChatGPT могут быть интегрированы с Cato, чтобы обеспечить видимость общения и данных, которыми обмениваются с этими приложениями. Для получения дополнительной информации см. действиями приложений">Что такое управление приложениями через API с действиями приложений.
Компания ABC просматривает панель управления GenAI Apps и выявляет неизвестный инструмент анализа кода на базе AI. Они ищут приложение в каталоге приложений и обнаруживают, что у приложения есть риск-оценка 6. Чтобы избежать риска раскрытия конфиденциальной информации, они создают роль управления приложениями для блокировки доступа к приложению.
Без надлежащего контроля доступа пользователи могут случайно внести конфиденциальную информацию в AI-модели, что приведет к утечке данных или нарушению нормативных требований. Кроме того, непроверенные AI-приложения могут ввести уязвимости в безопасность, раскрыть собственный код или создать вводящий в заблуждение или вредоносный контент. Применяя строгие политики доступа, вы можете гарантировать, что только авторизованные пользователи взаимодействуют с авторизованными AI-инструментами, минимизируя риски при её использования.
Cato поддерживает 8 системных категорий для AI-приложений в дополнение к общей категории Генеративные AI-инструменты. Эти категории можно использовать в Интернет-межсетевом экране для управления доступом к категории AI-приложений, например, приложений-помощников кода, или для самых популярных AI-приложений, включая ChatGPT, AgentGPT, Google Bard, Elicit AI, MagicPen AI, Poe AI, OpenAI и другие.
Вы также можете определить правила для конкретных AI-приложений или категорий приложений. Например, после создания правила, блокирующего трафик в категорию Генеративные AI-инструменты, вы можете создать правило с более высоким приоритетом, которое позволяет трафик в ChatGPT для конкретной группы пользователей, которые нуждаются в доступе. Для получения дополнительной информации см. Что такое Интернет-международный экран Cato?.
Следующие примерные правила Интернет-межсетевого экрана позволяют пользовательской группе исследовательская команда получать доступ к ChatGPT, блокируя все другие доступы к категории Генеративные AI-инструменты:
Политика управления приложениями позволяет вам детально контролировать доступ к приложениям на основе определённых критериев, таких как риск-оценка приложения или уровень его соответствия требованиям. Для получения дополнительной информации о настройке правил управления приложениями см. Управление политикой контроля приложений.
Чтобы предотвратить раскрытие конфиденциальной информации на бесплатной версии приложения, вы можете создать правила в политике управления приложениями, которые блокируют пользователей от доступа к личным аккаунтам и разрешают доступ только к вашему корпоративному арендатору. Например, вы можете определить правила для приложения OpenAI, которые позволяют только авторизацию входа в вашу организацию, и блокировать все другие входы (например, вход с личным электронным адресом).
Ниже представлен пример правила, где первое правило позволяет вход в OpenAI для пользователей с именем, включающим домен компании, затем следующие правила блокируют все входы в OpenAI через прямую и третью авторизацию.
Для повышения детализации, для некоторых приложений вы можете балансировать безопасность с продуктивностью, разрешая пользователям доступ к необходимому приложению, блокируя рискованные действия в нём. Для этого вы можете создать правила в политике управления приложениями, включающие детализированные действия. Например, вы можете разрешить доступ к Wordtune, но запретить пользователям загружать файлы.
ChatGPT предлагает функцию временного чата, предназначенную для повышения конфиденциальности пользователей. По данным OpenAI, эти чаты не отображаются в истории пользователя, не сохраняются в памяти и не используются для обучения моделей. Однако эта мера защиты конфиденциальности отключена по умолчанию. Пока пользователи вручную не включат ее, все взаимодействия сохраняются, что создаёт потенциальный риск при использовании в рабочих целях.
Политика управления приложениями может обнаружить, находятся ли пользователи в временном чате, и блокировать трафик, когда они в нём не находятся. Это позволяет организациям предоставить пользователям доступ к ChatGPT, при этом гарантируя, что конфиденциальные данные случайно не будут раскрыты.
Генеративные AI-приложения часто обрабатывают ввод пользователей таким образом, что это может привести к утечке данных, например, когда пользователи случайно делятся собственным кодом, персонально идентифицируемой информацией (PII) или конфиденциальными деловыми данными. Служба DLP от Cato сканирует контент и соблюдает политики в AI-приложении, чтобы помочь вам предотвратить компрометацию конфиденциальных данных при использовании приложения. Создавая правила DLP для GenAI-приложений, вы можете соблюдать политики, которые обнаруживают и блокируют ввод конфиденциальных данных в AI-модели.
Служба DLP от Cato использует десятки моделей, способных обнаруживать конфиденциальные данные в потоке трафика, используя передовые техники. Это включает такие категории, как Финансы, Юридические, HR, Иммиграция и Медицина. Кроме того, DLP также включает типы данных для использования с GenAI-приложениями. Например, профиль данных PII включает такие типы данных, как информация о кредитных картах и водительские удостоверения. Это позволяет создать детализированную политику, применимую только к соответствующим конфиденциальным данным, и предотвратить их использование в AI-приложениях.
Если предопределенные профили данных могут предоставить ваши собственные файлы/данные для обучения пользовательской модели ML. Продвинутые AI-движки учатся на этих данных, выводят контекст и позднее обнаруживают конфиденциальные данные в той же области.
Для получения дополнительной информации см. Работа с пользовательскими типами данных для DLP.
Примечание
Примечание: Эта функция доступна по умолчанию для аккаунтов, созданных после 25 марта 2025 года. Для аккаунтов, созданных до этой даты, вы можете вручную создать типы данных. Для получения дополнительной информации см. Рекомендуемая конфигурация DLP для мониторинга AI-приложений.
Политика управления приложениями и DLP включает предопределенные правила, рекомендованные Cato. Включены правила для защиты ваших AI-приложений. По умолчанию DLP мониторит и создает события для следующих типов данных, загружаемых в генеративные AI-инструменты:
-
PII
-
Финансовые данные
-
Ключи доступа и токены
-
Юридические данные
Компания ABC подписывает договор на подписку на новое SaaS-приложение. Им отправлен контракт для подписания, и пользователь загружает его в бесплатную версию высокорискованного GenAI-приложения для проверки и аннотации контракта. Предопределённое правило DLP создаёт событие для оповещения команды безопасности о данном нарушении политики.
0 комментариев
Статья закрыта для комментариев.