December 3, 2021

loopnewz

News 24/7

Машинното обучение подобрява възможностите за транскрипция на арабски реч


Благодарение на напредъка в обработката на речта и естествения език, има надежда, че един ден ще можете да попитате вашия виртуален асистент коя е най-добрата съставка за сила. Понастоящем е възможно да поискате от домашното си устройство да възпроизвежда музика или да го отворите с гласова команда, функция, която вече има в някои устройства.

Ако говорите марокански, алжирски, египетски, судански или някой от другите диалекти на арабски, които се различават значително от регион до регион, като някои са взаимно неразбираеми, това е различна история. Ако вашият роден език е арабски, фински, монголски, навахо или всеки друг език с високо ниво на морфологична сложност, може да се почувствате изоставени.

Тези сложни структури събудиха любопитството на Ахмед Али да намери решение. Той е главен инженер в групата за арабски езикови технологии в Катарския компютърен изследователски институт (QCRI) – част от университета Хамад Бин Халифа на Катарската фондация и основател на ArabicSpeech, „общност, която съществува в полза на науките за речта и технологиите за арабска реч“.

Седалището на фондация Катар

Али останал очарован от идеята да говори с коли, уреди и джаджи преди няколко години, докато бил в IBM. „Можем ли да изградим машина, способна да разбира различни диалекти – египетски педиатър, който да автоматизира рецепта, сирийски учител, който да помогне на децата с основните части от урока им, или марокански готвач, който предписва най-добрата рецепта за кус-кус?“ декларира. Алгоритмите, които захранват тези машини, обаче не могат да отсеят почти 30-те вида арабски, камо ли да ги разберат. Днес повечето инструменти за разпознаване на говор работят само на английски и на няколко други езици.

Пандемията на коронавирус увеличи и без това силното разчитане на гласовите технологии, тъй като начинът, по който технологиите за обработка на естествен език помагат на хората да спазват указанията за оставане у дома и мерките за физическо дистанциране. Въпреки това, докато използваме гласови команди, за да помагаме при покупките при електронна търговия и да управляваме домовете си, бъдещето съдържа повече приложения.

Милиони хора по света използват отворени онлайн курсове (MOOC) за отворен достъп и неограничено участие. Разпознаването на говор е ключова характеристика на MOOC, където студентите могат да търсят специфични области в устното съдържание на курсовете и да разрешават преводи чрез субтитри. Речевата технология позволява дигитализирането на лекциите за показване на изговорените думи като текст в университетските класни стаи.

Университет Ахмед Али Хамад бин Халифа

Според скорошна статия в Speech Technology пазарът за разпознаване на глас и говор се очаква да достигне 26,8 милиарда долара до 2025 г., тъй като милиони потребители и бизнеси по целия свят разчитат на гласовите роботи не само за взаимодействие със своите устройства или превозни средства, но и за подобряване обслужване на клиенти и стимулиране на иновации в здравеопазването, подобряване на достъпността и включването за тези с увреждания на слуха, говора или движението.

В проучване от 2019 г. Capgemini прогнозира, че до 2022 г. повече от двама от трима потребители ще изберат гласови асистенти, вместо да посещават магазини или банкови клонове; Дял, който може оправдано да се повиши, като се има предвид физически отдалечения домашен живот и търговия, които пандемията наложи на света за повече от година и половина.

Тези устройства обаче не успяха да достигнат до големи части от света. За тези 30 вида арабски и милиони хора това е до голяма степен пропусната възможност.

Арабски за машини

Английски или френски гласови роботи далеч не са съвършени. Въпреки това преподаването на машините да разбират арабски е особено трудно по няколко причини. Това са три общоизвестни предизвикателства:

  1. Без диакритични знаци. Арабските диалекти са разговорни диалекти, както в предимно говоримия език. Повечето от наличния текст е без скрипт, което означава, че в него липсват ударения като остър (´) или подтон (`), които показват фонетичните стойности на знаците. Следователно е трудно да се определи къде отиват гласните.
  2. Липса на ресурси. Има недостиг на дезагрегирани данни за различните арабски диалекти. Колективно им липсват унифицираните правописни правила, които диктуват как се пише езикът, включително граматика или правопис, тирета, прекъсвания на думите и ударение. Тези ресурси са от съществено значение за обучението на компютърни модели и фактът, че има малко от тях, възпрепятства развитието на разпознаването на реч на арабски език.
  3. морфологична сложност. Арабските говорещи участват в много превключване на кодове. Например в районите, колонизирани от французите – Северна Африка, Мароко, Алжир и Тунис – диалектите включват много френски заемки. По този начин има голям брой така наречени думи извън речника, които технологиите за разпознаване на реч не могат да разберат, тъй като тези думи не са арабски.

„Но полето се движи със светкавична скорост“, казва Али. Това е съвместно усилие между няколко изследователи, за да се движи по-бързо. Али Лабораторията за арабски езикови технологии ръководи проекта за арабски дискурс, за да обедини арабските преводи и местните диалекти на всеки регион. Например, арабските диалекти могат да бъдат разделени на четири регионални диалекта: северноафрикански, египетски, заливски и левантийски. Въпреки това, тъй като диалектите не отговарят на границите, това може да бъде точно като един диалект за всеки град; Например, носител на египетски език може да различи александрийския диалект от своя сънародник от Асуан (1000 км разстояние на картата).

Изграждане на технологично бъдеще за всички

В този момент машините са също толкова точни, колкото и човешките копирни машини, благодарение до голяма степен на напредъка в дълбоките невронни мрежи, подполе на машинното обучение в изкуствения интелект, което разчита на алгоритми, вдъхновени от начина на работа на човешкия мозък, както биологично, така и функционално. Доскоро обаче разпознаването на говор беше доста компрометирано като цяло. Технологията има история на разчитане на различни модули за фонемно моделиране, изграждане на речни речници и езиково моделиране. Всички звена трябва да се обучават отделно. Съвсем наскоро изследователите обучиха модели, които преобразуват аудио функции директно в транскрипция, потенциално оптимизиращи всички части за крайната задача.

Дори и с тези разработки, Али все още не може да дава гласови команди на повечето устройства на родния си арабски. „2021 е,“ коментира той, „и все още не мога да говоря с много машини на моя език“. „Искам да кажа, сега имам устройство, което може да разбере моя английски, но автоматично разпознаване на многодиалектна арабска реч все още не се е случило.“

Постигането на това е фокусът на работата на Али, която кулминира с първия преобразувател, който научи за арабската реч и нейните диалекти; Което е постигнало несравнимо представяне досега. Тази технология, наречена QCRI Advanced Transcription System, в момента се използва от Al Jazeera, DW и BBC за транскрибиране на съдържание онлайн.

Има няколко причини, поради които Али и неговият екип са успели да изградят тези речеви двигатели днес. На първо място, казва той, “има нужда да се разпределят ресурсите във всички диалекти. Трябва да изградим ресурсите, за да можем след това да обучим модела.” Напредъкът в компютърната обработка означава, че изчислително интензивното машинно обучение сега се извършва в графичния процесор, който може бързо да обработва и изобразява сложни графики. Както казва Али: „Имаме страхотна архитектура, добри модули и имаме данни, които представят реалността.“

Изследователи от QCRI и Kanari AI наскоро изградиха модели, които могат да постигнат човешки паритет при излъчване на арабски новини. Системата показва ефекта от превода на ежедневните репортажи на Ал Джазира на екрана. Докато процентът на човешки грешки в английския език (HER) е около 5,6%, изследването показа, че арабският HER е значително по-висок и може да достигне 10% поради морфологичната сложност на езика и липсата на стандартна орфография в арабския диалект. Благодарение на последните постижения в дълбокото обучение и цялостното инженерство, машината за разпознаване на арабски говор успя да надмине говорещите езика в излъчването на новини.

Докато разпознаването на реч в съвременния стандартен арабски изглежда работи добре, изследователи от QCRI и Kanari AI са заети да тестват границите на обработката на диалекта и да постигат впечатляващи резултати. Тъй като никой не говори модерен стандартен арабски в къщата, обръщането на внимание на диалекта е това, от което се нуждаем, за да дадем възможност на нашите гласови асистенти да ни разберат.

Това съдържание е написано от Катарски институт за компютърни изследванияУниверситетът Хамад бин Халифа е член на фондацията на Катар. Не е написано от редакционния екип на MIT Technology Review.



Source link

Among us generator
Brawl Stars Hack
Brawl Stars Gems
clash of clans hack
clash of clans generator
clash of clans hack 2021
clash of clans generator 2012
clash royale hack
clash royale generator
clash royale hack
clash royale generator
coin master hack
coin master generator
Among us hack
among us hack 2021
Free Fire Hack
fortntie skin hack
fortntie skin generator
free fortnite vbucks generator
fortnite vbucks hack
fortnite vbucks generator
free fortnite vbucks generator
fortnite vbucks hack
fortnite vbucks generator
instagram followers hack
instagram followers generator
free instagram followers generator
robux hack
robux generator
free skins hack
free skin generator
free spins
coin master spins hack
tiktok followers hack
tiktok followers generator
free tiktok fans
tiktok hack followers
free tiktok followers
fortnite vbucks hack
fortnite vbucks generator
fortnite vbucks hack
fortnite vbucks hack
fortnite vbucks generator
free fortnite vbucks
free fortnite v bucks
fortnite v bucks hack
garena free fire hack
garena free fire generator
instagram accounts hack
among us hack 2021
instagram followers hack
free instagram hack
instagram generator
instagram hack
free fortnite vbucks generator
fortnite vbucks hack
free fortnite skins
pokemon go hack
pokemon go generator
pogo hack
pokemon go hack
robux hack
robux gnerator
free robux 2021
robux hack 2021
free tiktok followers
vbucks hack
free vbucks generator
among us hack
robux hack 2021
tiktok fans generator
tiktok fans hack
fortnite skin hack
fortnite skins generator
tiktok free followers
among us generatro
robux generator
free fortnite vbucks generator
fortnite hack 2021

Among us generator Brawl Stars Hack Brawl Stars Gems clash of clans hack clash of clans generator clash of clans hack 2021 clash of clans generator 2012 clash royale hack clash royale generator clash royale hack clash royale generator coin master hack coin master generator Among us hack among us hack 2021 Free Fire Hack fortntie skin hack fortntie skin generator free fortnite vbucks generator fortnite vbucks hack fortnite vbucks generator free fortnite vbucks generator fortnite vbucks hack fortnite vbucks generator instagram followers hack instagram followers generator free instagram followers generator robux hack robux generator free skins hack free skin generator free spins coin master spins hack tiktok followers hack tiktok followers generator free tiktok fans tiktok hack followers free tiktok followers fortnite vbucks hack fortnite vbucks generator fortnite vbucks hack fortnite vbucks hack fortnite vbucks generator free fortnite vbucks free fortnite v bucks fortnite v bucks hack garena free fire hack garena free fire generator instagram accounts hack among us hack 2021 instagram followers hack free instagram hack instagram generator instagram hack free fortnite vbucks generator fortnite vbucks hack free fortnite skins pokemon go hack pokemon go generator pogo hack pokemon go hack robux hack robux gnerator free robux 2021 robux hack 2021 free tiktok followers vbucks hack free vbucks generator among us hack robux hack 2021 tiktok fans generator tiktok fans hack fortnite skin hack fortnite skins generator tiktok free followers among us generatro robux generator free fortnite vbucks generator fortnite hack 2021