Бот, който е гледал 70 000 часа видеоклипове на Minecraft, може да отключи следващия голям AI


Резултатът е пробив в техника, известна като симулационно обучение, при която невронните мрежи се обучават как да изпълняват задачи, като гледат как хората ги изпълняват. Симулираното обучение може да се използва за обучение на изкуствен интелект Контролирайте ръцете на роботаИ на шофиране на автомобили или да разглеждате уеб страници.

В интернет има огромно количество видеоклипове, показващи хора, изпълняващи различни задачи. Като използват този ресурс, изследователите се надяват да учат чрез симулация Какво направи GPT-3 за големи езикови модели. казва Боуен Бейкър от OpenAI, един от екипа зад новия Minecraft бот. „Голяма част от това е, защото ние проектираме какво правят хората, когато влизат онлайн.“

Проблемът с настоящите подходи към симулационното обучение е, че видео демонстрациите трябва да бъдат обозначени на всяка стъпка: извършването на това действие прави това да се случи, извършването на това действие прави това и т.н. Анотирането на ръка по този начин е много работа, така че тези набори от данни обикновено са малки. Бекер и колегите му искаха да намерят начин да конвертират милионите видеоклипове, налични онлайн, в нов набор от данни.

Подходът на екипа, наречен Video Pre-Training (VPT), ​​преодолява затруднението в симулираното обучение чрез обучение на друга невронна мрежа за автоматично етикетиране на видеоклипове. Наемат ги за първи път Работници на тълпата За да играят Minecraft, те записаха щраквания на клавиатура и мишка заедно с видео от екраните си. Това даде на изследователите 2000 часа коментиран Minecraft, който те използваха, за да обучат модел, който да съпоставя действията с резултата на екрана. Щракването на бутона на мишката в определена ситуация кара героя да замахне с брадвата си, например.

Следващата стъпка беше да се използва този модел за генериране на етикети за действие със 70 000 часа немаркирано видео, изтеглено от интернет, и след това да се обучи Minecraft бот на този по-голям набор от данни.

„Видеото е ресурс за обучение с много потенциал“, казва Питър Стоун, главен изпълнителен директор на Sony AI America, който преди това е работил върху имитативното обучение.



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *