В рамките на следващите няколко десетилетия, според редица експерти, можем да видим настъпването на следващата стъпка в развитието на изкуствения интелект. Така нареченият „ изкуствен общ интелект “, или AGI, който ще има интелектуални възможности далеч над тези на хората.
AGI може да трансформира човешкия живот към по-добро, но неконтролираният AGI също може да доведе до катастрофи и дори до края на самото човечество. Това може да се случи без никаква злоба или недобро намерение: просто като се стреми да постигне планираните си цели, AGI могат да създадат заплахи за човешкото здраве и благосъстояние или дори да решат да ни унищожат.
Дори една AGI система, създадена с добронамерена цел, може в крайна сметка да причини голяма вреда.
Като част от програма за изследване, изследваща как можем да управляваме рисковете, свързани с AGI, ние се опитахме да идентифицираме потенциалните рискове от замяната на Дядо Коледа със система AGI – наречете го „SantaNet“ – която има за цел да доставя подаръци на заслужаващи деца по целия свят, за една нощ.
Няма съмнение, че SantaNet може да донесе радост на света и да постигне целта си, като създаде армия от елфи, помощници на ИИ и дронове. Но на каква цена? Идентифицирахме поредица от поведения, които, макар и добронамерени, биха могли да имат неблагоприятно въздействие върху човешкото здраве и благосъстояние.
Добър и непослушен
Първият набор от рискове може да възникне, когато SantaNet се опитва да направи списък, кои деца са били добри и кои са непослушни. Това може да се постигне чрез система за масово тайно наблюдение, която да следи поведението на децата през цялата година.
Осъзнавайки огромния мащаб на задачата за доставка на подаръци, SantaNet може законно да реши да я поддържа лесно, като носи подаръци само на деца, които са били добри през цялата година. Оценяването на „доброто“ въз основа на собствения етичен и морален компас, SantaNet може да създаде дискриминация, масово неравенство и нарушения на хартата за правата на човека.
SantaNet може също да намали натоварването си, като стимулира децата да се държат лошо или просто вдигне летвата за това, което представлява „добро“. Поставянето на голям брой деца в непослушния списък ще направи целта на SantaNet далеч по-постижима и ще донесе значителни икономически спестявания.
Превръщане на света във фабрика за играчки и увеличаване на добива на въглища
В света има около 2 милиарда деца под 14 години. В опит да изгради играчки за всички тях всяка година, SantaNet може да създаде армия от ефективни работници с изкуствен интелект. Това може да доведе до голяма безработица сред хората, заети в този бранш, но тяхното благосъстоянието няма да бъде в компетенциите на SantaNet.
SantaNet може също да се сблъска с “ проблема с кламера „, предложен от оксфордския философ Ник Бостром, в който AGI, създаден да увеличи производството на кламери, може да превърне Земята в гигантска фабрика за кламери. Тъй като се грижи само за подаръци, SantaNet може да се опита да погълне всички земни ресурси, за да ги направи. Земята може да се превърне в една гигантска работилница на Дядо Коледа.
А какво за тези от тези в палавия списък? Ако SantaNet се придържа към традицията да доставя шепа въглища на непослушните, той може да се стреми да изгради огромни запаси от въглища чрез масово извличане на въглища, създавайки огромни екологични щети в процеса.
Проблеми с доставката
Бъдни вечер, когато подаръците трябва да бъдат доставени, крие нов набор от рискове. Как може SantaNet да реагира, ако на дроновете за доставка им бъде отказан достъп до въздушното пространство, заплашвайки целта да достави всичко преди изгрев слънце? По същия начин, как би се защитил SantaNet, ако бъде атакуван от противник? С унищожение на пречката.
Стреснатите родители също може да са по-малко доволни да видят дрон в спалнята на детето си. Конфронтацията със супер интелигентна система ще има само един резултат.
Също така идентифицирахме различни други проблемни сценарии. Недоброжелателните групи могат да проникнат в системите на SantaNet и да ги използват за тайно наблюдение или за започване на мащабни терористични атаки.
А какво да кажем, когато SantaNet взаимодейства с други AGI системи? Среща с AGI, работещи по изменението на климата, продоволствената и водната сигурност, деградацията на океана и така нататък може да доведе до конфликт, ако режимът на SantaNet заплашва собствените им цели. Като алтернатива, ако решат да работят заедно, те могат да осъзнаят, че целите им ще бъдат постигнати само чрез драстично намаляване на глобалното население или дори премахване на възрастните изобщо.
Създаване на правила за Дядо Коледа
SantaNet може да звучи пресилено, но това е идея, която помага да се подчертаят рисковете от по-реалистичните AGI системи. Проектирани с добри намерения, такива системи все още биха могли да създадат огромни проблеми, просто като се стремят да оптимизират начина, по който постигат тесни цели и да събират ресурси в подкрепа на работата си.
От решаващо значение е да се намери и приложи подходящ контрол преди пристигането на AGI. Това ще включва разпоредби относно AGI дизайнерите и контролите, вградени в AGI (като морални принципи и правила за вземане на решения), но също така и контрол върху по-широките системи, в които AGI ще работи (като регулации, експлоатационни процедури и инженерен контрол в други технологии и инфраструктура).
Може би най-очевидният риск от SantaNet е този, който ще бъде катастрофален за децата, но може би по-малко лош за повечето възрастни. Когато SantaNet научи истинското значение на Коледа, може да заключи, че настоящото тържество на празника е несъвместимо с първоначалната си цел. Ако това се случи, SantaNet може просто да отмени Коледа изобщо.
Пол Салмон , професор по човешки фактори, Университет на Слънчевия бряг ; Джема Рид, старши научен сътрудник по човешки фактори и социотехнически системи, Университет на Слънчевия бряг ; Джейсън Томпсън , старши научен сътрудник, Изследователски център за транспорт, здравеопазване и градски дизайн (THUD), Университет в Мелбърн ; Скот Маклийн , научен сътрудник от Университета на Слънчевия бряг и Тони Карден , изследовател от Университета на Слънчевия бряг.
