Главное
- Удаляйте персональные данные до индексации и ещё раз перед каждым вызовом модели.
- Запускайте эмбеддинги и инференс в ЕС или на собственных серверах с моделью с открытыми весами.
- Применяйте права доступа на уровне документов во время поиска, а не в промпте.
- Храните только нужные события аудита, маскируйте лишние персональные данные и определяйте доступ и сроки хранения журналов.
Почему RAG создаёт риск по GDPR
Система RAG находит фрагменты ваших документов и передаёт их языковой модели. Если они содержат персональные данные, GDPR касается загрузки, векторов, поиска, вызовов модели и журналов. Определите законную цель и правовое основание, применяйте права доступа до поиска и установите сроки хранения и удаления для всей системы.
Сначала уладьте правовые основы
- Роли: вы обычно контролёр, а каждый поставщик, касающийся данных (сервис эмбеддингов, хостинг векторной базы, хостинг модели): обработчик, которому нужно соглашение по статье 28.
- Правовое основание: запишите цель помощника и правовое основание для каждого вида данных, к которым он имеет доступ.
- Оценка воздействия: когда обработка вероятно несёт высокий риск, например документы о здоровье или кадровые, проведите DPIA по статье 35 до запуска.
- Прозрачность: сообщите сотрудникам или клиентам, что с этими данными работает помощник на основе ИИ, по статьям 13 и 14.
- Модели: спросите каждого поставщика, используются ли ваши данные для обучения, и закрепите ответ в договоре.
Референсная архитектура
- Загрузка: обнаружение и маскирование персональных данных, обратное сопоставление только там, где это действительно нужно, и запись источника, владельца и даты каждого документа.
- Индекс: векторное хранилище в ЕС с метками доступа для каждого документа и сохранённой связью каждого фрагмента с его документом, чтобы его можно было удалить.
- Поиск: фильтрация по правам пользователя до ранжирования, чтобы фрагмент, который пользователь не должен видеть, никогда не был кандидатом.
- Генерация: модель в регионе ЕС или на собственных серверах без обучения на ваших данных, второй проход удаления данных в промпте и указание отвечать только из найденных фрагментов.
- Аудит: журнал запроса, источников и ответа, в который можно только дописывать, с удалёнными значениями и определённым сроком хранения.
Выбор места работы модели
| Вариант | Расположение данных | Усилия |
|---|---|---|
| Проверенный провайдер, регион ЕС | ЕС, по договору обработки | Низкие |
| Модель с открытыми весами, облако ЕС | ЕС, ваша учётная запись | Средние |
| Модель с открытыми весами, собственные серверы | Ваши серверы | Выше |
Регион ЕС решает, где стоят серверы, а не чьё право может добраться до оператора, поэтому для самых чувствительных документов мы склоняемся к провайдерам из ЕС или собственным серверам. Наше руководство о платформах ИИ, размещённых в ЕС, разбирает варианты и вопросы, которые стоит задавать.
Какие платформы рекомендуют для RAG с расположением данных на собственных серверах и соответствием GDPR?
Единой рекомендуемой платформы нет, потому что RAG на собственных серверах: это стек слоёв, и для каждого есть хорошие варианты с открытым кодом и из ЕС. Важно, чтобы каждый слой работал на инфраструктуре, которую вы контролируете, и ничего из неё не выходило. Типичная собственная конфигурация выглядит так.
| Слой | Варианты, которые могут работать на ваших серверах | Что проверить |
|---|---|---|
| Векторное хранилище | Qdrant (Apache 2.0), Postgres с расширением pgvector, Weaviate или Milvus | Фильтры доступа для каждого документа, резервные копии и шифрование в состоянии покоя. Pgvector хранит векторы рядом с другими данными, а у некоторых хранилищ больше компонентов для эксплуатации |
| Обслуживание моделей | vLLM (Apache 2.0) для продакшен-трафика, Ollama или llama.cpp для малых развёртываний и тестов | Мощность GPU, сколько запросов выполняется одновременно, и API, совместимый с OpenAI, чтобы можно было менять модель |
| Оркестрация | Haystack, LlamaIndex или собственный код | Насколько легко проверять каждый шаг и тестировать поиск отдельно от генерации |
| Модели | Языковые модели и модели эмбеддингов с открытыми весами, которые вы размещаете сами | Условия лицензии для коммерческого использования, охват языков и точность на ваших документах |
| Доступ | Ваш существующий единый вход с ролевым доступом | Права, применённые при поиске, а не в промпте |
| Управление | Удаление данных, журнал аудита, хранение и удаление | Архитектура выше, проверенная от начала до конца |
Что будет, когда кто-то попросит удалить его данные?
Когда статья 17 требует удаления, отследите данные в документах, фрагментах, векторах, кешах и журналах. Удалите или ограничьте копии в соответствии с обязанностью и обработайте резервные копии по документированному процессу восстановления и сроков хранения. Зафиксируйте изменения и проверьте, что поиск больше не раскрывает данные.
Относитесь к эмбеддингам как к персональным данным, когда они созданы из персональных данных. Текст иногда можно вывести из векторов, поэтому векторная база данных не является шагом анонимизации.
Риски безопасности, свойственные RAG
| Риск | Как проявляется | Мера |
|---|---|---|
| Инъекция промпта | Документ содержит скрытые инструкции, которым следует модель | Воспринимать найденный текст как данные, ограничить возможности модели, фильтровать выводы |
| Раскрытие чувствительной информации | Ответ раскрывает данные, которых пользователь не должен видеть | Фильтр прав на этапе поиска, удаление данных, проверка выводов |
| Слабости векторов и эмбеддингов | Плохо изолированные индексы смешивают клиентов или утекает содержимое | Отдельные индексы или строгие фильтры для каждого клиента, контроль доступа к векторному хранилищу |
| Дезинформация | Уверенный ответ, которого фрагменты не подтверждают | Цитирование, указание отвечать только из источников и запасной вариант, когда поиск слабый |
Чек-лист перед запуском
- Подписаны соглашения с обработчиками с каждым поставщиком в цепочке, включая субобработчиков.
- Завершена DPIA, где нужно, с записанными решениями по удалению данных и хостингу.
- Проверена фильтрация по правам на учётных записях, которые не должны видеть определённые документы.
- Проверено стирание от начала до конца на тестовом документе.
- Установлен срок хранения журналов, а журналы очищены от данных.
- Набор реальных вопросов с ожидаемыми источниками для проверки поиска и ответов.
Расскажите, какие документы нужны ассистенту и кто должен иметь к ним доступ. Спланируем RAG с правами доступа, маскированием данных и отслеживаемым удалением.
Спланировать систему RAGFAQ
Можно ли использовать провайдера моделей из США?
Оцените фактические места обработки, договоры и доступ поставщика. Передачи за пределы ЕЭЗ требуют надлежащего основания главы V и соответствующих гарантий. Регион ЕС является выбором развёртывания, а не полной оценкой GDPR.
Являются ли эмбеддинги персональными данными?
Их следует считать персональными данными, когда они получены из персональных данных, потому что иногда из них можно вывести содержимое. Защищайте их и удаляйте вместе с исходным документом.
Нужна ли DPIA для внутреннего помощника по знаниям?
Если он имеет доступ к документам о здоровье, кадровым или другим чувствительным либо обрабатывает персональные данные в большом масштабе, скорее всего нужна. Для безобидной публичной базы знаний обычно хватает короткой письменной заметки о предварительной оценке.
Источники
- Регламент (ЕС) 2016/679 (GDPR), статьи 5, 17, 25, 28, 32 и 35
- Руководство EDPB по защите данных по умолчанию и при проектировании
- Европейский совет по защите данных, Заключение 28/2024 по моделям ИИ
- OWASP Top 10 для приложений с LLM
- Qdrant, open-source vector database (Apache 2.0)
- vLLM, open-source LLM inference and serving library (Apache 2.0)
Об авторе
Artem Synytskyi · Сооснователь · ИИ
Artem возглавляет направление ИИ в ESADEX и создаёт LLM, RAG и системы транскрипции для отраслей с нормативными требованиями.
