Искусственный интеллект впервые официально прошёл тест Тьюринга, успешно введя в заблуждение участников эксперимента в 73% случаев. Об этом говорится в препринте исследования, размещённого на платформе arXiv.
Эксперимент провели специалисты Калифорнийского университета в Сан-Диего. В рамках исследования применялся усовершенствованный алгоритм GPT-4.5, разработанный компанией OpenAI. В ходе тестирования участникам предлагалось параллельно вести беседу с двумя собеседниками — человеком и моделью ИИ — и определить, кто из них является машиной.
По данным авторов работы, в 73% случаев участники ошибочно принимали GPT-4.5 за человека. Таким образом, искусственный интеллект продемонстрировал способность убедительно имитировать поведение и манеру общения живого собеседника.
Тест Тьюринга, предложенный британским математиком Аланом Тьюрингом в 1950 году, считается классическим методом оценки способности машины демонстрировать поведение, неотличимое от человеческого. В традиционном варианте человек-экзаменатор взаимодействует с двумя неизвестными собеседниками — человеком и компьютером — через текстовый интерфейс и должен определить, кто есть кто.
В исследовании участвовали около 300 добровольцев, разделённых на две равные группы. Одна половина выполняла роль экзаменаторов, другая — играла роль «свидетелей», среди которых были как реальные люди, так и языковые модели. Для усложнения условий часть ИИ-моделей заранее получала инструкции вести себя в образе, например, молодого «гика», что существенно повышало их шансы быть принятыми за человека.
Наилучшие результаты показала модель GPT-4.5 — в режиме имитации она была ошибочно признана человеком в 75,5% случаев. Модель LLaMa от Meta* также продемонстрировала высокий уровень — 64,7%. Без предварительных инструкций уровень достоверности у GPT-4.5 снизился до 36%, а у GPT-4o — до 21%. Для сравнения, модель ELIZA, разработанная в 1960-х годах, показала результат в 23%.
Исследование подчёркивает, что прохождение теста Тьюринга не является доказательством наличия сознания или понимания. Современные языковые модели обучаются на больших массивах текстов, созданных человеком, и, несмотря на отсутствие реального мышления, способны воспроизводить структуру и интонации живой речи с высокой точностью.
Авторы эксперимента отметили, что имитация человечности остаётся важной областью изучения в развитии систем искусственного интеллекта. Ознакомиться с примерами диалогов, использованных в исследовании, а также пройти аналогичный тест можно на сайте проекта.
