ChatGPT и Клод „стават способни да се справят с мисии в реалния свят“, казват учените

Време за четене : 1 мин.
Сподели: Facebook
Twitter

Близо две дузини изследователи от университета Цинхуа, държавния университет в Охайо и Калифорнийския университет в Бъркли си сътрудничиха, за да създадат метод за измерване на възможностите на големи езикови модели (LLM) като агенти в реалния свят.

LLM като ChatGPT на OpenAI и Claude на Anthropic превзеха технологичния свят през изминалата година, тъй като авангардни „чат ботове“ се оказаха полезни при различни задачи, включително кодиране, търговия с криптовалута и генериране на текст.

Обикновено тези модели се сравняват въз основа на способността им да извеждат текст, възприеман като човешки, или на техните резултати при тестове на обикновен език, предназначени за хора. За сравнение, много по-малко документи са публикувани по темата за LLM моделите като агенти.

Агентите с изкуствен интелект (AI) изпълняват специфични задачи, като например следване на набор от инструкции в рамките на конкретна среда. Например, изследователите често ще обучават AI агент да навигира в сложна цифрова среда като метод за изучаване на използването на машинно обучение за безопасно разработване на автономни роботи.

Традиционните агенти за машинно обучение като този във видеото по-горе обикновено не се изграждат като LLM поради непосилните разходи, свързани с модели за обучение като ChatGPT и Claude. Въпреки това, най-големите LLMs показаха обещание като агенти.

Екипът от Цинхуа, щата Охайо и Калифорнийския университет в Бъркли разработи инструмент, наречен AgentBench, за оценка и измерване на способностите на LLM моделите като агенти в реалния свят, нещо, което екипът твърди, че е първото по рода си.

Как интерпретаторът на кодове ChatGPT на OpenAI може да накара AI Chatbots да решават проблеми от реалния свят

Според документа за предпечат на изследователите, основното предизвикателство при създаването на AgentBench е излизането отвъд традиционните среди за обучение с изкуствен интелект – видеоигри и симулатори по физика – и намирането на начини за прилагане на способностите на LLM към проблеми от реалния свят, така че те да могат да бъдат ефективно измерени.

Това, което измислиха, беше многоизмерен набор от тестове, които измерват способността на модела да изпълнява предизвикателни задачи в различни среди.

Те включват моделите да изпълняват функции в SQL база данни, работа в рамките на операционна система, планиране и изпълнение на функции за почистване на домакинството, пазаруване онлайн и няколко други задачи на високо ниво, които изискват стъпка по стъпка решаване на проблеми.

Според вестника най-големите и най-скъпи модели надминаха моделите с отворен код със значително количество:

„[Ние] проведохме цялостна оценка на 25 различни LLM с помощта на AgentBench, включително базирани на API и модели с отворен код. Нашите резултати разкриват, че моделите от най-високо ниво като GPT-4 са способни да се справят с широк спектър от задачи от реалния свят, което показва потенциала за разработване на мощен, непрекъснато обучаващ се агент.

Изследователите стигнаха до там, за да твърдят, че „най-добрите LLMs стават способни да се справят със сложни мисии в реалния свят“, но добавиха, че конкурентите с отворен код все още имат „дълъг път да извървят“.

Публикацията на Наталия Иванова: "ChatGPT и Клод „стават способни да се справят с мисии в реалния свят“, казват учените" е написана за KriptoNovini.bg