Генеральный аудитор критикует Оттаву за чат-бота CRA «Charlie» стоимостью $18 млн

В недавнем отчете Генерального аудитора, посвященном работе колл-центров CRA и цифровым инструментам самообслуживания, были выявлены серьезные недостатки в работе искусственного интеллекта.

Аудит показал, что, несмотря на высокую стоимость, чат-бот «Charlie» часто предоставляет налогоплательщикам неверные ответы.

Чат-бот «Charlie» был запущен в феврале 2020 года. Изначально CRA предупреждало, что инструмент находится на стадии «обучения». Спустя пять лет Генеральный аудитор проверил его работу, задав шесть вопросов, связанных с налогообложением.

Точность: «Charlie» предоставил точные ответы только на 2 из 6 вопросов. Для сравнения, другие общедоступные чат-боты на основе искусственного интеллекта дали точные ответы на 5 из 6 вопросов.

Содержание ответов: Карен Хоган отметила, что ответы «Charlie» были «как правило, краткими, предлагая ограниченный контекст и минимальную дополнительную информацию».

Расходы: Согласно парламентским документам, CRA потратило на чат-бот с 2018–2019 финансового года более $18 млн. Из этой суммы $13,67 млн составили заработные платы, а $3,21 млн – оплата услуг IТ-консультантов. Эти цифры не включают пособия для сотрудников и командировочные расходы.

Выявленные расхождения в точности вызвали озабоченность в Парламенте. Депутат от Либеральной партии Энтони Хаусфатер задал Генеральному аудитору прямой вопрос о том, «почему правительственный инструмент, специализированный для CRA, хуже, чем среднестатистический инструмент, доступный любому?».

Несмотря на низкий показатель точности, CRA заявило, что чат-бот используется активно: с момента запуска было зарегистрировано более 7 млн диалогов и свыше 18 млн вопросов. Внутреннее тестирование CRA ранее показывало точность около 70%, что означает неверность почти трети ответов.

В ноябре CRA обновило «Charlie» до версии на основе генеративного искусственного интеллекта, схожего с технологиями, используемыми в ChatGPT. CRA утверждает, что предварительное тестирование показало точность «примерно 90%», однако признало, что не может подтвердить реальную точность без анализа каждого взаимодействия с пользователем.

Для канадских налогоплательщиков, особенно в Британской Колумбии, неточная работа дорогостоящего государственного инструмента самообслуживания означает потенциальные ошибки при декларировании доходов или получении информации. Неэффективность «Charlie» ставит под сомнение целесообразность многомиллионных инвестиций в государственные IТ-проекты.

Сравнение, проведенное Генеральным аудитором, где общедоступные инструменты искусственного интеллекта демонстрируют более высокую точность, подчеркивает технологическое отставание и неэффективность специализированной государственной разработки. Это особенно важно, учитывая, что цель «Charlie» состояла в том, чтобы помочь канадцам «лучше ориентироваться в налоговой системе».

Публикация отчета Генерального аудитора оказывает давление на CRA и федеральное правительство с требованием обеспечить, чтобы государственные IТ-инструменты соответствовали заявленным целям и демонстрировали высокий уровень точности.

Недавнее обновление «Charlie» до генеративной модели искусственного интеллекта является прямым ответом на критику. Однако, пока Генеральный аудитор или независимые эксперты не подтвердят точность новой версии, вопрос об эффективности расходования $18 млн остается открытым. Ожидается, что CRA будет предпринимать дальнейшие шаги для повышения точности работы чат-бота, чтобы оправдать вложенные средства и восстановить доверие налогоплательщиков.