GPT-4 изненадва потребителите с вродената си способност да разпознават писмени подкани и да дава подходящи отговори на няколко езика. Това качество на бота изглежда смущава повечето хора дотолкова, че те трудно могат да направят разлика между бот и човек.
Това объркване е голямо, защото някои от резултатите, генерирани от бота, изглеждат доста стандартни и реалистични.
Изследване на човекоподобната интелигентност на GPT-4
Това нараснало объркване кара изследователите от Калифорнийския университет в Сан Диего да се заемат с тази дилема. Те провеждат добре познатия тест на Тюринг, кръстен на известния учен Алън Тюринг. Целта на теста е да се определи степента, до която една машина може да притежава интелигентност, подобна на тази на човек.
Изследователите публикуват резултатите си в сървъра arXiv на университета Корнел и стигат до заключението, че хората доста трудно правят разлика между модела GPT-4 и човешкия агент, когато взаимодействат с бота.
Камерън Джоунс за първи път провежда изследването под ръководството на Берген, професор по когнитивна наука в Калифорнийския университет в Сан Диего. „Идеята за тази статия всъщност се породи от класа, който Бен водеше по LLM“, казва Камерън Джоунс, съавтор на статията, пред Tech Xplore.
„През първата седмица прочетохме някои класически статии за теста на Тюринг и обсъдихме дали LLM може да го премине и дали би имало значение, ако го премине. Доколкото можах да разбера, никой не беше опитвал до този момент, така че реших да създам експеримент, за да проверя това като мой класен проект, а след това продължихме да провеждаме първия публичен проучвателен експеримент.“
Резултатите от проучването са интересни. Те показват, че GPT-4 може лесно да надмине човека в почти 50% от взаимодействията.
Втори тест потвърждава, че GPT-4 реагира подобно на човека при взаимодействие между изкуствен интелект и човек
Изследователите все пак изпитват известни съмнения относно резултатите от първия тест, затова решават да ги намалят, като проведат втори тест. Джоунс споделя, че са създали онлайн версия на игра за двама играчи, която ще позволи на човешките участници да бъдат съпоставени или с човек, или с модел на ИИ.
В този процес човешкият разпитващ (който може да бъде или човек, или агент на ИИ) взаимодейства със „свидетел“. Разпитващият просто задава въпроси и определя дали отговаря човек или модел на ИИ.
Тези разговори най-често траят пет минути, а в края им разпитващият разкрива дали според него става въпрос за модел на ИИ или не. Участниците имат право да говорят за каквото си поискат в продължение на пет минути (с изключение на това да бъдат обиждани).
„Въпреки че истинските хора са били по-успешни, убеждавайки разпитващите, че са хора в две трети от случаите, нашите резултати показват, че в реалния свят хората може да не са в състояние да разберат дали говорят с човек или със система с изкуствен интелект“, казва Джоунс.
Изследователите използват три различни LLM като потенциални свидетели – моделите GPT-4, GPT 3.5 и ELIZA. Потребителите все още могат да идентифицират ELIZA и GPT-3.5, но определено не и GPT-4.
Източник: InterestingEngineering
