Modificirane slušalice prevode znakovni jezik putem Dopplera
Istraživački tim sa Sveučilišta u Buffalu izmijenio je slušalice za poništavanje buke, omogućavajući uobičajenom elektroničkom uređaju da "vidi" i prevede američki znakovni jezik (ASL) kada je uparen s pametnim telefonom. Sustav temeljen na slušalicama koristi Doppler tehnologiju kako bi osjetio sitne fluktuacije ili odjeke u akustičnim zvučnim valovima koje stvara netko tko potpisuje.
Nazvan SonicASL, sustav se pokazao 93,8% učinkovitim u testovima provedenim u zatvorenom i na otvorenom koji uključuju 42 riječi. Primjeri riječi uključuju "ljubav", "prostor" i "kamera". Pod istim uvjetima koji uključuju 30 jednostavnih rečenica - na primjer, "Drago mi je" - SonicASL je bio 90,6% učinkovit.
"SonicASL je uzbudljiv dokaz koncepta koji bi na kraju mogao uvelike poboljšati komunikaciju među gluhonijemima", kaže autor Zhanpeng Jin, izvanredni profesor na Odsjeku za računalne znanosti i inženjerstvo na Sveučilištu Buffalo.
Prije nego što takva tehnologija postane komercijalno dostupna, mora se učiniti mnogo, naglasio je. Na primjer, SonicASL-ov rječnik mora se uvelike proširiti. Također, sustav mora moći čitati izraze lica, glavnu komponentu ASL-a.
U svijetu, prema Svjetskoj federaciji gluhih, postoji oko 72 milijuna gluhih osoba koje koriste više od 300 različitih znakovnih jezika. Iako Ujedinjeni narodi priznaju da su znakovni jezici po važnosti jednaki govornoj riječi, to gledište još nije stvarnost u mnogim narodima. Gluhi ili nagluhi ljudi i dalje imaju više komunikacijskih prepreka.
Tradicionalno, komunikacija između gluhih korisnika američkog znakovnog jezika (ASL) i ljudi koji ne znaju jezik odvija se ili u prisutnosti prevoditelja ASL-a, ili putem postavljanja kamere.
Česta zabrinutost zbog upotrebe kamera, prema Jinu, uključuje mogu li se ti video zapisi zloupotrijebiti. I dok je upotreba prevoditelja ASL-a sve učestalija, nema jamstva da će oni biti dostupni po potrebi. SonicASL nastoji riješiti ta pitanja, osobito u slučajnim okolnostima bez unaprijed dogovorenog planiranja i postavljanja, kaže Jin.
Većina slušalica za poništavanje buke oslanja se na mikrofon okrenut prema van koji prihvaća okolišnu buku. Slušalice tada proizvode protuzvuk - zvučni val iste amplitude, ali s obrnutom fazom okolne buke - za poništavanje vanjske buke.
"Dodali smo dodatni zvučnik pored mikrofona prema van. Htjeli smo vidjeti mogu li modificirane slušalice osjetiti pokretne objekte, slično radaru", kaže dr. Sc. Yincheng Jin, kandidat u Jinovom laboratoriju.
Zvučnik i mikrofon doista hvataju pokrete ruku. Informacije se prenose putem aplikacije za mobitel SonicASL koja sadrži algoritam koji je tim stvorio za identifikaciju riječi i rečenica. Aplikacija zatim prevodi znakove i razgovara sa slušnom osobom putem slušalica.
Za razliku od sustava koji odgovornost za "premošćivanje" komunikacijskog jaza stavljaju na gluhe, SonicASL okreće scenarij, potičući slušnu populaciju na ulaganje napora. Dodatna prednost fleksibilnosti SonicASL a je ta što se može prilagoditi za druge jezike osim za ASL, kaže Jin.
"Različiti znakovni jezici imaju različite značajke, sa svojim pravilima za izgovor, tvorbu riječi i redoslijed riječi", kaže on. "Na primjer, ista gesta može predstavljati različite riječi na znakovnom jeziku u različitim zemljama. Međutim, ključna je funkcija SonicASL-a prepoznavanje različitih gesta rukama koje predstavljaju riječi i rečenice na znakovnim jezicima, koje su generičke i univerzalne. Iako se naša trenutna tehnologija usredotočuje na ASL, uz odgovarajuću obuku algoritamskog modela, može se lako prilagoditi drugim znakovnim jezicima."
Sljedeći će koraci, kaže Jin, biti proširenje znakovnog rječnika koji SonicASL može prepoznati i razlikovati, kao i rad na uključivanju sposobnosti čitanja izraza lica.