Роман Стятюгин, директор по ИИ-продуктам VK Tech, на конференции VK WorkSpace Conf поделился с IT Speaker темами, касающимися приватности данных, метриками эффективности ИИ-агентов, преодолением галлюцинаций и планами по открытому SDK. Основной вывод – в SaaS-сервисе данные клиентов не используются для обучения моделей.
По утверждению эксперта, методика обучения моделей зависит от формата предоставления VK WorkSpace. В SaaS-сервисе данные клиентов не применяются для обучения.
«Возможность использовать данные клиентов для обучения моделей в SaaS-сервисе исключена. Мы обеспечиваем их безопасность – эти данные принадлежат нашим клиентам, и мы не имеем права их использовать», – акцентировал Стятюгин.
В случае коробочной инсталляции у конкретного заказчика ситуация иная. Потребность в обучении на внутренних данных возникает по инициативе самой компании. Как пояснил эксперт, в рабочих чатах и обсуждениях может содержаться ценная информация по предмету. В переписке сотрудников присутствует контекст, который улучшает качество модели. В таких случаях заказчик самостоятельно создает датасет, обучает модель и использует ее исключительно в этой инсталляции. Бесконтрольного обучения на общих данных, по словам Стятюгина, быть не может.
Говоря о оценке полезности ИИ-агентов, эксперт отметил, что метрики сильно зависят от процесса. «Многие компании умеют измерять эффективность агентов, но метрики все еще недостаточно точны. Эффект от использования агента не всегда очевиден: возможно, изменился сам процесс или на стороне заказчика произошли иные значительные изменения», – отметил он.
Например, в поддержке ключевые метрики – стоимость обработки одного тикета и CSAT (показатель удовлетворенности клиентов). Стятюгин объяснил, что можно значительно снизить стоимость обработки тикета, но при этом может упасть CSAT – клиенты не будут получать нужные ответы. По его мнению, единой методологии нет, и зачастую решение о продолжении внедрения ИИ принимается на основе ожиданий от потенциала технологии, а не конкретного ROI.
В борьбе с галлюцинациями и ошибками, по словам эксперта, применяются общепринятые методы. При запуске любого агента обязательно проводится оценка – создается эталонный датасет, и агент валидируется через него.
«Важно, чтобы процесс оценки постоянно сопутствовал работе агента. Если провести валидацию один раз и прекратить, мы столкнемся с серьезным дрейфом и не заметим его», – подчеркнул Стятюгин.
Отвечая на вопрос о готовности сотрудников делегировать задачи агентам, Стятюгин отметил: «По моим наблюдениям, сотрудники охотно делегируют задачи, но только там, где агенты действительно оказывают помощь».
В продуктовой команде агент для разбора RFI (запроса информации) сэкономил аналитикам много времени, а агент для постановки задач в системе таскменеджмента избавил продакт-менеджеров от рутинного ввода. Наиболее сложная ситуация у программистов.
«Они учились писать код, умеют его читать и проектировать. Теперь вместо написания кода им необходимо ставить задачу на написание кода. Фактически они из программистов превратились в руководителей программистов. Это смена парадигмы, и иногда возникает сопротивление», – заключил эксперт.
Ранее руководитель направления сервисов продуктивности VK Tech Петр Щеглов на конференции VK WorkSpace Conf рассказал IT Speaker о границах автономности ИИ-агентов, безопасности кросс-компании чатов и тарифах.
В Санкт-Петербурге пройдет форум GIS STUDENT DAY 2026
