September 26, 2022

loopnewz

News 24/7

Новият чатбот DeepMind използва търсения с Google, както и хора, за да предоставя по-добри отговори


Разликата между този подход и неговите предшественици е, че DeepMind се надява да използва „дългосрочен диалог за безопасност“, казва Джефри Ървинг, изследовател по безопасността в DeepMind.

“Това означава, че не очакваме проблемите, които имаме с тези модели – независимо дали става въпрос за дезинформация, стереотипи или нещо друго – които са очевидни на пръв поглед, и искаме да говорим за тях в детайли. Това означава и между машините и хората .

Сара Хукър, която ръководи Cohere за AI, изследователска лаборатория с нестопанска цел за AI, казва, че идеята на DeepMind за използване на предпочитанията на хората, за да се подобри начина, по който моделът на AI учи, не е нова.

„Но подобренията са завладяващи и показват ясни предимства за насочена от човека оптимизация на диалогови агенти при създаване на модел на голям език“, казва Хукър.

Дуе Кела, изследовател в стартирането на AI Hugging Face, казва, че Sparrow е „хубава следваща стъпка, която следва обща тенденция в AI, докато се опитваме по-сериозно да подобрим аспектите на сигурността на внедряването на големи езикови модели“.

Но трябва да се свърши много работа, преди тези разговорни AI модели да могат да бъдат разгърнати в дивата природа.

Врабчето пак правеше грешки. Понякога моделът се отклонява от темата или дава произволни отговори. Решителните участници също успяха да направят правилата за прекъсване на модела в 8% от случаите. (Това все още е подобрение спрямо по-старите модели: предишните модели на DeepMind нарушаваха правилата три пъти повече от Sparrow.)

„За области, където човешката вреда може да бъде голяма, ако агентът реагира, като например предоставяне на медицински и финансови съвети, това все още може да се стори на мнозина като неприемливо висок процент на неуспех“, казва Хукър. Работата е изградена и около модел на английски език, „докато живеем в свят, в който технологията трябва безопасно и отговорно да обслужва много различни езици“, добавя тя.

Kela посочва друг проблем: „Разчитането на Google за търсене на информация води до неизвестни отклонения, които са трудни за откриване, тъй като всичко е със затворен код.“



Source link