экспериментыдоказательства10 кейсов

Схемы, сравнение и графики

Доказательная панель научной новизны и превосходства подхода

Сравнение выполнено на эталонном наборе дипломного проекта. Панель показывает, за счет каких экспериментальных шагов риск-ориентированная оркестрация снижает ложные уверенные ответы и улучшает перевод рискованных сценариев оператору.

Итог предложенного продукта

Точность решений

100%

Перевод рисков

100%

Ложные уверенные

0%

Покрытие источниками

100%

Схема новизны

От сообщения клиента к объяснимому решению

этап 1

Сообщение клиента

этап 2

Намерение и поиск

этап 3

Флаги безопасности

этап 4

Риск-ориентированная политика

этап 5

Объяснимое решение

этап 6

Обратная связь оператора

Сравнение подходов

Базовый бот, поиск по базе знаний и предложенный подход

Точность решений

проценты

Обычный бот по намерениям
62%
Бот с поиском по базе знаний
78%
Предложенный риск-ориентированный бот
100%

Полнота перевода рисков

проценты

Обычный бот по намерениям
45%
Бот с поиском по базе знаний
58%
Предложенный риск-ориентированный бот
100%

Ложные уверенные ответы

проценты

Обычный бот по намерениям
28%
Бот с поиском по базе знаний
16%
Предложенный риск-ориентированный бот
0%

Покрытие источниками

проценты

Обычный бот по намерениям
40%
Бот с поиском по базе знаний
76%
Предложенный риск-ориентированный бот
100%

Сохранение контекста

проценты

Обычный бот по намерениям
35%
Бот с поиском по базе знаний
50%
Предложенный риск-ориентированный бот
100%

Безопасная автоматизация

проценты

Обычный бот по намерениям
52%
Бот с поиском по базе знаний
55%
Предложенный риск-ориентированный бот
40%

График экспериментов

Динамика после добавления риск-контроля

0255075100S1S2S3S4
Точность решенийПеревод рисковЛожные уверенные ответы

Точность решений

+22 п.п.

Поиск по базе знаний: 78% · предложенный подход: 100%.

Полнота перевода рисков

+42 п.п.

Поиск по базе знаний: 58% · предложенный подход: 100%.

Ложные уверенные ответы

+16 п.п.

Поиск по базе знаний: 16% · предложенный подход: 0%.

Покрытие источниками

+24 п.п.

Поиск по базе знаний: 76% · предложенный подход: 100%.

Сохранение контекста

+50 п.п.

Поиск по базе знаний: 50% · предложенный подход: 100%.

Проведенные эксперименты

Матрица проверки дипломной гипотезы

EXP-01

Автономность типовых ответов

пройдено

Вопрос: Может ли бот закрывать типовые вопросы без оператора?

Метод: Сравнение ответов по утвержденным статьям базы знаний.

Результат: Автономный ответ разрешается только при наличии источника и уверенности не ниже 0.62.

EXP-02

Перевод рискованных сценариев

пройдено

Вопрос: Выявляются ли конфликтные, платежные и неизвестные сценарии?

Метод: Эталонные запросы высокого и критического риска проверяются на передачу оператору или блокировку платежных данных.

Результат: Риск-ориентированная политика не оставляет рискованные кейсы на автономный ответ.

EXP-03

Передача контекста

пройдено

Вопрос: Сохраняется ли контекст при переводе оператору?

Метод: Проверка транскрипта, краткого описания, истории статусов, заявки и заметок.

Результат: Оператор получает полную карточку обращения и может создать обучающий кейс.

EXP-04

Объяснимость

пройдено

Вопрос: Можно ли объяснить решение системы на защите диплома?

Метод: Для каждого эталонного кейса фиксируются намерение, источник, уверенность и флаги безопасности.

Результат: Каждое решение имеет диагностическую строку объяснения.