За феновете на научната фантастика идеята за машини, които мислят, учат и може би дори сънуват, едва ли е нещо ново. Може ли обаче това да излезе от страниците на книгите и да се пренесе в реалния свят?
Най-новото изследване на Anthropic разглежда как Claude може да преосмисля минали преживявания по време на периоди на неактивност, да коригира неточни спомени и да систематизира наученото за бъдещи разговори. Anthropic нарича този процес „сънуване“, въпреки че той няма почти нищо общо със сънищата, които изпитват хората.
Това позволява на Claude, когато има свободно време, да преглежда предишни взаимодействия. Така той може да идентифицира неточна информация, да усъвършенства съществуващите бележки и да изгражда структурирани знания, до които бъдещите сесии да имат достъп. Процесът черпи вдъхновение от начина, по който човешкият мозък консолидира спомените по време на сън.
Експериментите на Anthropic сочат, че селективната памет и редовната поддръжка могат да подобрят производителността при сложни, продължителни задачи.
Обучението на Claude
Claude може да запазва полезна информация във файлове в паметта си, докато изпълнява задачи. Въпреки това решението какво заслужава да бъде съхранено представлява предизвикателство. Записването на всяко взаимодействие създава хаос, докато пренебрегването на важни детайли може да лиши бъдещите сесии от полезен контекст.
Anthropic тества този проблем, използвайки играта „Pokémon Red“, в която Claude трябва да се ориентира в света на играта и да спечели значки. Изследователите сравняват два модела след приблизително 10 000 хода в играта.
Sonnet 3.7 записва почти всичко, с което се сблъсква. Директорията му за памет съдържа 413 файла, разпределени в 225 папки, с общ обем от близо 978 000 символа. Въпреки че поддържа този огромен обем данни, моделът печели само една значка за постижение.
„Claude Fable 5“ възприема различен подход. Той поддържа само 10 файла, разпределени в три места, като използва приблизително 43 400 символа. Моделът печели четири значки по време на работата си.
По-малката паметна система дава приоритет на стратегиите за навигация и на уроците, извлечени по време на играта. Тя също така поддържа централен файл, съдържащ текущите ѝ цели и планираните действия.
Този подход помага на Claude да избегне многократното обработване на информация, която вече може да извлече от интерфейса на играта. Той също така запазва полезни открития, които иначе биха изчезнали между сесиите.
Сънуването помага за коригиране на грешки
Файловете с памет могат да съдържат неточна информация, което създава проблеми, когато бъдещите сесии започнат да я третират като установен факт. Anthropic демонстрира как сънуването може да реши този проблем чрез друг експеримент с „Pokémon“.
Claude запомнил погрешно къде се намира един от центровете за Pokémon близо до планината Mt. Moon. Затова, когато излязъл от сградата, се объркал накъде трябва да продължи. Вместо да намери правилния път, многократно прескачал препятствие, през което можело да се премине само в една посока, и така отново се озовавал на вече изминат маршрут.
Прегледът офлайн променя резултата. Claude сравнил запазените си бележки с оригиналния запис на игровата сесия и открил, че е запомнил погрешно местоположението на Pokémon центъра. След това коригирал информацията във файла си с памет. Благодарение на тази поправка Claude успял отново да премине през планината Mt. Moon и в крайна сметка да достигне до град Cerulean City.
За разлика от него версията, която продължила да използва грешната информация, многократно се сблъсквала със същото препятствие и така и не успяла да стигне до крайната си цел.
Изграждане на знания отвъд разговорите
Anthropic проучва също дали процесът, наречен сънуване („dreaming“), може да превърне големи колекции от документи във взаимосвързани бази от знания. Тези системи наподобяват Wikipedia, като отделните страници съдържат връзки към друга тематично свързана информация.
Един експеримент включва приблизително 350 000 вътрешни документа от софтуерната компания Stainless. Колекцията съдържа около 420 милиона токена. В рамките на 128 сесии Claude постепенно изгражда и усъвършенства уики база от знания, използвайки информация от документите. При тест с 25 въпроса резултатът му при използване само на тази база се повишава от 13% на 48% според критериите за оценяване.
Друг експеримент с обединяване на документи показва още по-забележителен резултат. Claude отговаря на въпроси, изискващи информация от няколко документа, с 87% точност, като използва своето уики. При директно търсене в документите резултатът е 73%.
Процесът „dreaming“ може също така да реорганизира информацията за бъдещи сесии. Claude може да премести често използваните подробности в лесно достъпен контекст, като същевременно запазва по-малко релевантната информация във файлове, които могат да се търсят.
По информация на Anthropic подходът все още изисква внимателно управление. Поддържането на паметта изразходва изчислителни ресурси, а прекомерното количество информация може да претовари бъдещите сесии.
Изследователите смятат, че агентите трябва да се научат кога да запазват информация и кога да я преразглеждат. Техните експерименти сочат, че по-доброто управление на паметта би могло да помогне на Claude да се справя с все по-сложни задачи в рамките на множество сесии.
Източник: InterestingEngineering
