Balsu mes perduodame tik apie trečdalį visos informacijos. Didelę dalį komunikacinių žinučių žmonės vieni kitiems perduoda ne balsu, o emocijas atspindinčiomis veido mimikomis ar rankų judesiais. Aklieji ir silpnaregiai taip komunikuoti negali. Tiksliau, negalėjo iki šiol – technologinis progresas leis akliesiems „išvysti“ aplinkinių šypsenas ar kitas nepažintas emocijas.

Bendradarbiaudami su neregiais „Huawei“ sukūrė programą, kuria naudodamiesi aklieji gali „pamatyti“ su jais bendraujančių žmonių emocijas. Galingiausiam „Huawei“ telefonui „Mate 20 Pro“ pritaikyta programa „Facing Emotions“, naudodama kamerą bei dirbtinį intelektą, atpažįsta pagrindines septynias žmogaus veide matomas emocijas ir paverčia jas unikaliais garsais.

„Kasdien su daugeliui žmonių nesuvokiamais iššūkiais susiduriantys aklieji ir silpnaregiai turi naują galimybę praturtinti savo gyvenimą ir sukurti glaudesnį ryšį su artimaisiais. Džiaugiamės, kad programėlė ją išbandžiusiems paliko puikų įspūdį“, – teigia „Huawei“ Baltijos šalių vartotojų verslo grupės vadovas Yanfei.

Kaip skamba šypsena?

„Facing Emotions“ buvo sukurta išnaudojant didžiules dirbtinio intelekto siūlomas galimybes. Jos algoritmai buvo išmokyti analizuoti telefone matomų žmonių veido mimikas, o atpažinus konkrečią emociją, ją paversti garsu. Taip buvo sukurta nauja neregiams ir silpnaregiams skirta kalba – jie gali išgirsti kitų žmonių reiškiamas emocijas.

Programa naudoja galines telefono kameras ir kiekvieną akimirką skenuoja žmogų, su kuriuo kalba aklasis. Ji užfiksuoja įvairias veido dalis – akis, nosį, antakius ir burną, matuoja jų poziciją vienas kito atžvilgiu. Identifikavęs emociją – pavyzdžiui, šypseną, dirbtinio intelekto algoritmas ją transformuoja į aklajam girdimą specifinį garsą, kurį skleidžia pats išmanusis telefonas arba ausinės.

Viskas vyksta realiu laiku – vos pašnekovui nusišypsojus, galingas procesorius judesį atpažįsta, įvertina ir tą pačią akimirką aklasis išgirsta specifinį šypseną reiškiantį garsą. Nuolat besimokantis dirbtinio intelekto algoritmas kartu su programa įrašomas į įrenginio atmintį, kad „Facing Emotions“ galėtų veikti nenaudodama interneto.

Prie kūrimo prisidėjo ir neregiai

Pirmoji pasaulyje tokio tipo programa buvo sukurta „Huawei“ specialistams bendradarbiaujant su aklųjų bei labdaros organizacijomis. Didelę pagalbą kuriant „Facing Emotions“ suteikė Lenkijos aklųjų asociacija, iš savo narių surinkusi bandytojų komandą, kurios atstovai aktyviai dalyvavo kiekviename programos kūrimo etape.

Ne mažiau svarbi „Facing Emotions“ dalis nei vaizdų atpažinimo algoritmas yra garsas. Visus juos sukūrė Tomaszas Bileckis – nematantis kompozitorius, prisidėjęs prie įvairių, akliesiems ir silpnaregiams skirtų projektų įgyvendinimo. Vienas jo kūrinių – „Invisible Exhibition“ muziejus, kurio eksponatai yra visiškoje tamsoje – kiekvienas jame apsilankęs žmogus gali per valandą pajusti, ką aklieji jaučia visą gyvenimą. Be to, ekskursijas jame veda taip pat nematantys žmonės.

Kalbėdamas apie garsų programai kūrimą, T. Bileckis pabrėžė, jog šie turi būti trumpi, skirtingi, lengvai įsimenami ir neįkyrūs, kad netrikdytų klausančiojo. Unikalus kompozitoriaus suvokimas leido sukurti būtent tokius garsus – juos gyrė ir bandymuose dalyvavę aklųjų asociacijos atstovai.