IVE生研發手語翻譯App 盼助聽障者求診
【明報專訊】香港有逾15萬名聽障者，不少以手語溝通，與健聽者產生隔閡。有IVE軟件工程畢業生開發出手語翻譯應用程式「SignChat」，以人工智能技術實時翻譯手語。程式內有近50組詞語，準確率約七至八成。IVE沙田院校資訊科技系署理高級講師郭譽豪期望，至年底會有百多組詞語，並考慮設定使用場景，例如醫院，方便聽障者與醫護溝通。
AI辨認雙手動作 準確率八成
IVE軟件工程高級文憑畢業生溫子軒與兩名同學花一年時間，開發出「SignChat」手語翻譯應用程式。溫表示，程式利用立體影像追蹤技術，啟動鏡頭後，與人距離一至兩米，保持光線充足，程式可從畫面辨認雙手，包括手指、手腕、手掌，共21個檢測點，以分辨不同手語動作，翻譯成文字。
在程式以人工智能(AI)協助翻譯，要先讓AI辨認不同手語。郭譽豪表示，訓練AI時，先輸入詞語，再重複拍攝不同手語用家展示該字詞的手語約30至50次，讓AI了解同一手語可能的偏差，從而提高翻譯準確度。
不同手語組合亦會衍生出不同意思，例如「早」和「食」串連出「早餐」的意思。郭譽豪說，程式利用了「自然語言處理」技術，令AI理解不同單字之間的關係，翻譯成相應詞語。
冀年底增至逾百詞語 加入不同場景
目前程式詞庫有近50組詞語，主要圍繞日常生活，如「早晨，你好嗎」、「我想食漢堡包」等，未正式公開使用。郭譽豪冀與非牟利機構合作擴充詞庫，到年底有過百組詞語，並會考慮加入不同使用場景的詞組，例如醫院內的溝通、表達不適，方便聽障者與醫護溝通。
此外，除由手語翻譯成文字，郭又稱程式亦可進一步開發，逆向由文字轉換成手語動作。
手語其實不止手勢，亦需要觀察面部表情，以表達語氣。郭稱，現先從最關鍵的部分做起，其後可加入不同數據例如表情，令翻譯更準確。
除了IVE學生，路德會啟聾學校與香港路德會早前亦開發出手語交流平台，可輸入中文句子翻譯成手語影像，亦有手語學習功能。該程式2019年獲創科生活基金批出近400萬元資助。
明報記者 林穎茵
