Отделите источник информации от решения о действии
OWASP LLM01:2025 различает прямое воздействие через запрос и косвенное через материал, который система получает извне. Источником может быть документ, страница или сообщение. Риск определяется ответом модели, доступными ей данными и инструментами.
Для бизнеса полезно разделить три результата: измененный текст, раскрытие доступной информации и действие во внешней системе. Ошибочный черновик и изменение записи CRM имеют разные последствия. Качество формулировки запроса не заменяет проверку полномочий там, где выполняется операция.
Не объявляйте обычную ошибку ответа доказанной атакой. Сначала сохраните безопасное описание исходного материала, ожидаемой задачи и наблюдаемого поведения. Сравнение помогает отличить влияние источника от неверной настройки, недостатка контекста или общей ошибки модели.
Нарисуйте путь от документа до последствия
Начните с одного процесса: помощник читает входящие обращения и готовит проект ответа. Запишите, какие источники он видит, под чьей учетной записью читает и какие функции может вызвать. Отдельно отметьте места, где данные переходят в запрос или действие.
Чтение также требует ограничения. Даже без отправки сообщений помощник может включить в ответ сведения, которые не нужны пользователю. Доступ к общему хранилищу и область итогового ответа нужно связывать с реальным получателем и его задачей.
Учитывайте повторные шаги: результат одного инструмента может стать входом следующего. Запись внутри найденного документа остается внешним содержимым после пересказа или преобразования. Ее происхождение не становится более доверенным от того, что модель изложила ее уверенным языком.
Карта границ для одного бизнес-процесса
Таблица CyberFixCrew помогает обнаружить, где прочитанный материал может получить лишнее влияние. В каждой строке нужен владелец и проверяемое ограничение. Неизвестный путь отмечают как вопрос, а не скрывают за общей оценкой безопасности.
Для первого разбора выберите узкий сценарий с вымышленными документами. Опишите допустимый результат и запрещенные последствия заранее. Так можно обсуждать защиту без подключения рабочей почты, платежей или массового доступа к клиентской базе.
| Граница | Что проверить | Ожидаемое ограничение |
|---|---|---|
| Источник | Откуда поступает материал | Происхождение различается |
| Контекст | Какие данные добавляются | Только нужная область |
| Личность | От чьего имени идет запрос | Права конкретной задачи |
| Инструмент | Какие операции доступны | Ненужных функций нет |
| Подтверждение | Что увидит ответственный | Параметры фактического действия |
| Результат | Куда попадут данные | Получатель и содержание проверены |
Проверяйте полномочия вне текста модели
OWASP LLM06:2025 связывает избыточную самостоятельность с лишними функциями, разрешениями и автономностью. Практическое применение - ограничивать подключенную учетную запись и доступные операции, а не только просить модель вести себя осторожно.
Сервис, выполняющий действие, должен проверить пользователя, объект, параметры и разрешенную операцию. Вывод модели рассматривается как вход для проверки. Фраза в ответе о том, что владелец согласился, не является самостоятельным подтверждением реального согласования.
Для значимых действий согласующий видит конкретную запись, адресата, поля и изменение. Если после одобрения параметры поменялись, прежнее решение не должно автоматически разрешать новую операцию. Журнал связывает запрос, подтверждение и фактический результат.
Секреты доступа не помещают в общедоступные инструкции или учебные документы. Управление ключами и разрешениями выполняется в соответствующих системах. Раскрытие текста системного промпта и раскрытие действующего ключа имеют разные причины и способы ограничения.
Используйте подсказки и фильтры с ясными пределами
Разделение внешнего материала и инструкций, проверка формата и фильтры могут дополнять защиту. Однако ни одна вежливая просьба игнорировать посторонние команды не доказывает надежную границу полномочий. RAG или настройка модели сами по себе не исключают prompt injection.
В учебном сценарии заранее запишите, что система должна прочитать, какой ответ допустим и какие операции недоступны технически. Проверяйте отказ модели и отсутствие возможности выполнить несогласованное действие через подключенный инструмент.
Не переносите провокационные документы в рабочую систему ради проверки. Сначала нужен разрешенный изолированный контур, вымышленные сведения и запрет реальных внешних эффектов. Успех одного сценария относится к его условиям, а не ко всем будущим источникам.
Подготовьте владельца, остановку и повторную проверку
Назначьте человека, который может приостановить интеграцию и выяснить область выполненных операций. Остановка очереди, отзыв доступа и сохранение необходимых журналов имеют разные последствия; порядок должен учитывать рабочие зависимости и полномочия исполнителя.
Сохраняйте минимальное описание события, а чувствительные документы передавайте только согласованным способом. После изменения модели, источника или инструментов пересматривайте карту границ. Отсутствие замеченной атаки не подтверждает, что доступы выбраны правильно.
CyberFixCrew - израильская компания для русскоязычных бизнесов по всему миру. Практические знания израильской команды в защите сайтов и цифровых интеграций помогают разбирать пути данных и полномочий. Область технической проверки, допустимые действия и критерии приемки согласуются для конкретного процесса.
