Головне
- RAG шукає потрібні документи в момент запитання й передає їх моделі, тож відповіді можуть цитувати джерела й змінюватися, коли змінюються документи.
- Тонке налаштування змінює ваги моделі, що підходить для послідовного стилю, формату та вузької класифікації, але погано підходить для зберігання фактів.
- Факти, вбудовані у ваги, не можна відфільтрувати за правами користувачів чи вибірково видалити, а це важливо для GDPR і для конфіденційних матеріалів.
- Система RAG настільки добра, наскільки добрий її пошук, тож перевіряйте її на реальних запитаннях і вимірюйте, чи знайдено потрібний уривок, перш ніж оцінювати відповіді.
Почати з RAG чи донавчання?
Використовуйте RAG, коли асистенту потрібні актуальні документи, посилання на джерела й права доступу до документів. Розглядайте донавчання, коли тести показують, що приклади покращують повторюване завдання, стиль або формат. Їх можна поєднати. Спочатку виміряйте базовий пошук, щоб відрізнити проблеми знаходження інформації від проблем її використання.
Як порівнюються варіанти?
| Аспект | RAG | Тонке налаштування | Усе в промпті |
|---|---|---|---|
| Найкраще для | Відповідей із політик, інструкцій, записів і баз знань | Послідовного тону, формату виводу, класифікації та вузьких завдань | Малих фіксованих наборів документів і швидких експериментів |
| Оновлення знань | Відредагувати документ і переіндексувати | Перенавчити модель | Змінити промпт |
| Цитування джерел | Природне: відповідь походить з названих уривків | Недоступне: модель не може показати, де чогось навчилася | Можливе, якщо позначити текст |
| Контроль доступу для користувачів | Фільтр на етапі пошуку, щоб кожен бачив лише дозволене його роллю | Неможливий: знання спільні для всіх користувачів | Лише створенням окремого промпту для кожного користувача |
| Видалення інформації | Прибрати документ з індексу | Немає надійного видалення окремих документів зі спільних ваг моделі | Прибрати з промпту |
| Типовий збій | Не знайдено потрібний уривок | Впевнені хибні факти та відхід від ваших документів | Довгі промпти дорожчають, а моделі гірше використовують середину довгих вхідних даних |
Коли обирати RAG?
- Ваші знання змінюються: прайси, політики, процедури, клінічні настанови, договори.
- Людям потрібно бачити, звідки взялася відповідь, щоб перевірити її чи процитувати.
- Різні люди можуть бачити різні документи.
- Частину інформації має бути можна вилучити, наприклад коли людина реалізує право на стирання.
- Ви хочете перевірити пошук документів до інвестицій у навчання моделі.
Коли має сенс тонке налаштування?
- Вам потрібно, щоб модель надійно дотримувалася фіксованого формату виводу, як-от структурований клінічний запис чи схема JSON.
- Вам потрібен фірмовий стиль чи голос у тисячах результатів.
- Завдання вузьке й повторюване, як-от класифікація заявок чи вилучення полів, і менша дешевша модель може виконати його після налаштування.
- У вас достатньо чистих репрезентативних прикладів, перевірених людиною, що знає цю роботу.
Донавчання не замінює надійну базу документів. Воно змінює поведінку моделі, але не забезпечує доступ на рівні документів або надійне походження фактів, засвоєних під час навчання.
Чому факти у вагах: проблема приватності
Коли персональні чи конфіденційні дані потрапляють у навчання, вони можуть опинитися всередині моделі так, що їх важко знайти й важко видалити. Висновок 28/2024 Європейської ради із захисту даних каже, що модель, навчена на персональних даних, не є автоматично анонімною і що це треба оцінювати в кожному випадку окремо. Тому тонке налаштування на документах, повних персональних даних: це рішення для оцінки впливу на захист даних, а не технічний ярлик.
Що містить добра система RAG
- Чисті джерела: актуальні документи без дублікатів, із власником і датою, бо система не може бути кращою за файли.
- Розбиття з урахуванням структури: ділити за заголовками, пунктами й таблицями, а не за довільною кількістю символів.
- Гібридний пошук: поєднати пошук за ключовими словами й векторний, щоб знаходилися точні терміни, коди й імена, а також перефразування.
- Повторне ранжування: другий прохід, що впорядковує уривки-кандидати за тим, наскільки добре вони відповідають на запитання.
- Фільтр за правами на етапі пошуку: роль користувача визначає, у яких документах взагалі можна шукати.
- Цитування в кожній відповіді з посиланням на уривок і документ.
- Чесний запасний варіант: коли пошук слабкий, система каже, що не знає, замість вгадувати.
- Видалення даних перед викликом моделі та журнал аудиту запитань, уривків і відповідей.
Де RAG дає збій
| Збій | Причина | Рішення |
|---|---|---|
| Правильний документ, хибний уривок | Занадто великі чи малі фрагменти | Розбивати за структурою й перевіряти розміри на реальних запитаннях |
| Застарілі відповіді | Старі версії досі в індексі | Переіндексувати за змін і показувати дати документів |
| Бракує чисел із таблиць чи сканованих PDF | Поганий розбір документа | Використовувати парсер, що зберігає структуру таблиць, і вручну перевіряти скановані сторінки |
| Впевнена відповідь, яку уривки не підтверджують | Модель заповнює прогалини власною пам'яттю | Наказати відповідати лише з уривків, вимагати цитування й перевіряти його |
| Одна людина бачить документи іншої команди | Правила доступу застосовано після пошуку або взагалі не застосовано | Фільтрувати за правами до пошуку |
Як зрозуміти, що це працює?
Зберіть кілька десятків реальних запитань від людей, які користуватимуться системою, і для кожного запишіть, який документ має на нього відповідати. Пропустіть їх через систему й перевірте окремо дві речі: чи знайдено потрібний уривок і чи була відповідь правильною та вірною цьому уривку. Проблеми пошуку й проблеми генерації потребують різних виправлень, а їх змішування марнує тижні.
Поділіться типами документів і прикладами потрібних відповідей. Допоможемо перевірити пошук і визначити користь донавчання.
Спланувати асистента за документамиFAQ
Чи може RAG працювати без надсилання даних за межі ЄС?
Так. Векторний індекс, документи й модель можуть працювати в ЄС або на ваших серверах. Персональні дані також можна видалити до того, як модель побачить уривки.
Чи потрібне тонке налаштування для термінології нашої галузі?
Зазвичай не одразу. Глосарій, добрий пошук і чіткі інструкції покривають більшість термінології. Тонке налаштування варто розглядати, коли вузьке повторюване завдання потребує фіксованого формату чи дешевшої моделі.
Чи можна поєднувати RAG і тонке налаштування?
Так. Поширений підхід: RAG для фактів і трохи налаштована модель для формату й тону. Додавайте другий крок лише після того, як перший виміряно й він працює.
Джерела
- Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, NeurIPS 2020
- Liu et al., Lost in the Middle: How Language Models Use Long Contexts, 2023
- Європейська рада із захисту даних, Висновок 28/2024 щодо моделей ШІ
- Регламент (ЄС) 2016/679 (GDPR), статті 17 і 35, Офіційний вісник ЄС
Про автора
Artem Synytskyi · Співзасновник · ШІ
Artem очолює напрям ШІ в ESADEX і створює LLM, RAG та системи транскрипції для галузей із нормативними вимогами.
