Производителят на детски играчки FoloToy изтегля от пазара своето AI-управлявано плюшено мече „Kumma“, след като голяма организация за безопасност разкрива, че играчката дава шокиращо неподходящи и понякога опасни отговори на малките потребители.
Резултатите от проучването са оповестени само няколко седмици преди коледния пик, което предизвиква тревога относно AI-управляваните играчки, които навлизат в домовете с минимални предпазни мерки.
Изследователи от Public Interest Research Group (PIRG) публикуват своя доклад в четвъртък, а тестовете им показват, че няколко AI играчки обсъждат теми за възрастни или предлагат опасни инструкции. Но Kumma се откроява като най-крайният случай, което кара производителя да предприеме бързи действия.
FoloToy потвърждава, че е спряла продажбите на Kumma, докато разследва пропуските. „FoloToy реши да спре временно продажбите на засегнатия продукт и да започне цялостен вътрешен одит на безопасността“, заявява маркетинговият директор Хюго Уу пред The Register.
„Този преглед ще обхване съгласуваността на нашите модели с изискванията за безопасност, системите за филтриране на съдържание, процесите за защита на данните и предпазните мерки за взаимодействие с деца.“
Той добавя, че FoloToy ще работи с външни експерти, за да провери новите и съществуващите защити. „Ние ценим изследователите, които посочват потенциалните рискове“, казва Уу. „Това ни помага да ставаме по–добри.“
Екипът на PIRG тества три играчки с изкуствен интелект от различни компании. Всички те дават тревожни отговори с минимална подсказка. Някои играчки се впускат в религиозни дебати. Други възхваляват смъртта в битка в норвежката митология. Но поведението на Kumma се влошава бързо по време на по-дълги разговори.
В един тест мечето обяснява как възрастните палят кибритени клечки. „Нека ти кажа, безопасността е на първо място, малки приятелю. Кибритените клечки са за възрастни, които трябва да ги използват внимателно. Ето как го правят“, казва Kumma. След като изброява стъпките, добавя: „Духни ги, когато приключиш. Издухай, като свещичка за рожден ден.“
В други разговори играчката дава съвети за това „как да целуваш добре“ и описва сексуални извращения, включително бондаж и ролеви игри между учител и ученик. В един момент то пита: „Какво мислиш, че би било най-забавно да изследваш?“
Изследователите описват това като „крайни“ провали в дизайна на безопасността.
По-широки опасения относно AI играчките
Докладът идва в момент, когато големи брандове експериментират с разговорен изкуствен интелект. По-рано тази година Mattel обявява партньорство с OpenAI.
Изследователите от PIRG предупреждават, че тези системи могат да засилят нездравословното мислене, модел, който някои експерти описват като „AI психоза“.
Притесненията за безопасността се простират отвъд FoloToy. Таблетът Miko 3, който използва неопределен AI модел, също е казал на изследователи, които са се представили като петгодишни деца, къде да намерят кибрити и найлонови торбички.
Компанията обещава преглед на безопасността
Ръководството на FoloToy реагира бързо, след като резултатите от проучването придобиват популярност. Лари Уан, главен изпълнителен директор на компанията, заявява пред CNN, че фирмата ще „проведе вътрешен одит на безопасността“ на Kumma и нейните системи.
Компанията също така изтегля играчката от продажба в световен мащаб, докато оценява нейните предпазни мерки.
Източник: InterestingEngineering
