Кожен агент, якого я будую, працює в одному з двох місць. Managed — він живе в європейському дата-центрі великого хмарного провайдера (Azure або AWS) і формує відповіді через API постачальника моделі: Anthropic, OpenAI або того, хто виграє на ваших власних питаннях, за угодою про обробку даних. Self-hosted — уся система стоїть у вашому периметрі на локальній моделі й жодна частина відповіді не йде в інтернет.
Про другий варіант питають одразу, щойно в справу вступають дані співробітників або договори. Ось що він означає насправді.
Що входить у self-hosted
- Мовна модель працює на вашій машині. Щоб сформувати відповідь, жоден запит не покидає будівлю.
- Пошуковий індекс, зібраний з ваших документів, лежить на тій самій машині, поряд з моделлю.
- Дані співробітників, договори та політики залишаються у вашому сховищі. Агент їх читає і нікуди не копіює.
- Логи розмов теж залишаються у вас — це важливо, коли HR або юрист хоче переглянути, що саме було сказано.
- Оновлення відбуваються усвідомлено: версія моделі змінюється тоді, коли ви так вирішили, а не коли вендор щось випустив.
Обладнання
Один Mac mini M5 Pro на 64 ГБ пам'яті тримає HR-асистента на всю компанію: модель, індекс по ваших політиках та історію розмов. Це близько €3 100 одноразово і кілька євро на місяць за електроенергію. Без серверної, без стійки, без проєкту охолодження — стоїть на полиці й відповідає по вашій мережі.
Важчі задачі потребують більше: розбір довгих договорів або потік у тисячі сторінок на місяць краще розкласти на дві машини — одна віддає відповіді, друга робить важке читання. Ми рахуємо це з вашого реального обсягу під час пілоту, а не з припущень.
Чим ви платите
Модель, яка вміщується у ваше обладнання, менша за ті, що стоять за хмарним API. На складних питаннях це видно. За моїми прогонами розрив вузький там, де потрібен структурований пошук — «що політика каже про перенесення відпустки» — і широкий там, де треба вдумливо працювати з довгим документом, наприклад прочитати договір на 40 сторінок і пояснити, чому пункт про відповідальність виглядає незвично.
Тож чесний розподіл такий. Self-hosted достатньо для питань співробітників за політиками, розпізнавання документів, правил стайлгайду та більшості внутрішніх довідок. Хмарна модель поки що виграє на розборі договорів і на всьому, що має дати вилизаний текст для зовнішнього читача.
Що вимагає GDPR і як відповідає кожен варіант
Варіант managed дає вам двох обробників: хмару, де живе агент — Azure або AWS, європейський регіон, з їхньою власною документацією щодо GDPR, сертифікатами ISO та звітами аудиторів, — і постачальника моделі, Anthropic чи OpenAI, за угодою про обробку даних. Ваші дані не використовуються для навчання моделей. На практиці це два рядки у вашому реєстрі обробників, підкріплені документами, які обидва вендори публікують самі. Тримати серверну або доводити аудитору справність хмари, якої він ніколи не бачив, нікому з вашого боку не доведеться.
У варіанті self-hosted у шляху відповіді немає жодного стороннього обробника. Для компаній, де рада трудового колективу, страховик або договори з клієнтами забороняють віддавати персональні дані зовнішньому сервісу, це зазвичай різниця між проєктом, який можна почати, та проєктом, який почати неможливо.
Як вибрати без вгадування
Обидва варіанти працюють на одному й тому самому коді агента. Модель за ним — це налаштування, тому рішення зворотне: почати з managed і потім перенести все всередину — це зміна конфігурації та купівля обладнання, а не переписування з нуля.
У пілоті ми проганяємо ваші власні питання через обидва варіанти й порівнюємо відповіді поруч. Ви бачите, де локальна модель не відрізняється, а де відрізняється — на ваших документах і ваших формулюваннях, ще до того, як хтось підпише купівлю заліза.
Домовитись про дзвінок — і розберемо, яка частина вашого процесу може залишитися всередині.