최근에 발표된 연구 에서 AI 연구소 AI21의 이스라엘 연구원 팀은 총 150만 명의 사용자가 1000만 회 이상의 채팅 세션을 완료하는 최대 규모의 튜링 스타일 테스트를 수행했습니다.
인간 사용자는 채팅 상대방이 인간인지 AI인지 식별하는 작업을 수행할 때 대화의 60%에서만 AI와 상호 작용하고 있다고 정확하게 추측했습니다. 성공률은 "우연보다 높지 않습니다"라고 연구원은 지적했 습니다.
인간이 AI를 과소평가함에 따른 놀라운 결과
인간 사용자가 다른 인간과 교류할 때 73%의 시간 동안 파트너를 인간으로 정확하게 식별했습니다. 그러나 연구자들은 인간 사용자가 AI 봇과 채팅할 때 봇 파트너를 AI로 정확히 식별한 확률이 60%에 불과하다는 사실을 발견했습니다.
사용자는 종종 문법 오류 및 오타를 인간 행동과 연관시켰고, 봇이 오타를 활용한 경우의 54.7%만이 파트너를 봇이라고 정확하게 추측했습니다.