🤖 Российские компании начинают разрабатывать системы для контроля ИИ-агентов

Российский бизнес начал разрабатывать ИТ-системы для контроля за ИИ-агентами. Спрос на такие решения растет по мере перехода от чат-ботов к автономным программам, способным самостоятельно работать с корпоративными данными и выполнять многошаговые задачи. «Яндекс», МТС, «Сбер» и другие компании развивают harness – программную инфраструктуру, которая управляет памятью, контекстом, доступом к данным и инструментам ИИ. Она позволяет контролировать действия агента, результаты его работы и при необходимости подключать человека. Отдельное направление – безопасность. Модель сама по себе не может надежно отличать данные от команд, поэтому система должна проверять запросы и ответы ИИ, контролировать обращения к внешним инструментам и блокировать опасные действия. За год число запросов бизнеса на такие механизмы выросло втрое: около 80% связаны с доступом к корпоративным данным, проверкой решений человеком и предотвращением утечек. Интерес проявляют банки, промышленность, государственные организации и ретейл.