Чат-бот ChatGPT не смог сдать экзамен по бухучету

Представители почти 200 учебных заведений протестировали технологию OpenAI на экзаменах по бухгалтерскому учету. В эксперименте задействовали оригинальную модель ChatGPT.

По словам разработчиков, бот «исключительно хорошо справился с различными экзаменами». Чтобы проверить это утверждение, профессор Дэвид Вуд из Университета Бригама Янга организовал масштабное исследование. Ему удалось привлечь 327 соавторов из 186 учебных заведений в 14 странах. Они подготовили для ChatGPT 25 181 экзаменационный вопрос по бухгалтерскому учету. Кроме того, студенты-старшекурсники из Университета Бригама Янга отправили в ChatGPT еще 2 268 вопросов из банка тестов по учебникам.

Вопросы касались информационных систем бухгалтерского учета (АИС), аудита, финансового учета, управленческого учета и налогообложения. Они различались как по сложности, так и по типу.

Результаты показали, что ChatGPT, хотя и выступил неплохо, не смог превзойти настоящих студентов. Он набрал в среднем 47,4% баллов, тогда как студенты – 76,7% баллов.

По 11,3% вопросов ChatGPT набрал больше баллов, чем живые люди. Особенно хорошо он справился с АИС и аудитом. При этом налоговые, финансовые и управленческие оценки дались искусственному интеллекту намного хуже, возможно, из-за трудностей с математическими процессами.

Что касается типа вопросов, ChatGPT лучше справился с заданиями «правда/ложь» (68,7% правильных ответов) и вопросами с множественным выбором (59,5%), но испытывал трудности с вопросами, где требовался короткий ответ (от 28,7% до 39,1%). Исследователи отметили, что чат-боту было сложно отвечать на вопросы высокого порядка. Периодически он отвечал на один и тот же вопрос по-разному и иногда выдумывал факты. В некоторых случаях система генерировала фейковые ссылки на несуществующие произведения и авторов, сообщает SciTech Daily.

Ранее сообщалось, что житель Таиланда выиграл с помощью чат-бота ChatGPT в лотерею. Его приз составил около двух тысяч бат.