Как мультимодальные LLM-модели (ИИ) меняют речевую аналитику в ритейле

Долгое время системы речевой аналитики в ритейле строились по одному принципу: аудио переводилось в текст (Speech-to-Text), а затем программа искала в тексте заданные ключевые слова. Если слово есть — плюс балл, нет — минус балл. Но этот метод безнадежно устарел.

В 2026 году бизнес в Казахстане массово переходит с обычного поиска по словарю на новый стандарт — на смену «поиску по словарю» пришли мультимодальные большие языковые модели (LLM), такие как Gemini, которые полностью переворачивают наше понимание контроля качества.

Проблема словарей: почему старые системы ошибались?

Системы, основанные на ключевых словах, не понимают контекста. Они не могут отличить агрессию от шутки, сарказм от искренности, или правильное предложение кофе от нелепого («Вы же кофе не будете, да?»). Чтобы покрыть все варианты произношения, бизнесу приходилось создавать гигантские словари синонимов, поддержка которых стоила огромных денег.

Встречайте: Мультимодальный LLM-подход от AiProtocol.kz

В основе системы AiProtocol лежит связка умных аудиобейджей (например, AB-400), которые пишут аудио в облако, и мощного ИИ на базе архитектуры LLM (Large Language Model).

Как это работает в реальности:

• Бейдж записывает диалог `.wav` и отправляет на FastAPI бэкенд.
• Нейросеть получает транскрипт и анализирует его целиком за один запрос.
• LLM понимает смысл. Если кассир на АЗС предложил кофе через отрицание («Кофе не хотите?»), ИИ поймет, что это нарушение скрипта (употребление частицы "НЕ"), и снизит оценку, даже если слово "кофе" прозвучало.

Готовой точности модели в процентах и сравнения «точнее живого супервайзера» у этой статьи нет. Чек-лист ловит смысл фразы, а спорный фрагмент всё равно слушает человек.

Сводка и оценка от 0 до 10 — автоматически

Самая большая проблема руководителей — огромный объем данных. Никто не хочет читать простыни транскриптов. Благодаря LLM, AiProtocol.kz делает следующее:

Нейросеть выставляет итоговый балл (от 0 до 10) на основе 6 триггеров чек-листа и генерирует короткую человечную сводку, например:

«Кассир поздоровался, но забыл предложить выпечку. Чек выдан молча. Верификация заказа проведена частично. Оценка: 6/10.»

Тон: что слушает человек

По тону спорят отдельно от слов: повышенный голос имеет смысл вынести в короткий список для прослушки. Автоматических штрафов «за хамство» страница не обещает. Это пометка для человека, не касса взысканий.

Итог

Модель помогает не искать одно слово, а читать фразу целиком. Она не заменяет супервайзера и не работает «вместо человека круглосуточно без ошибок». Ориентир продукта по затратам на контроль — снижение до 60%, если сплошную прослушку заменяют разбором исключений.