親愛的網友:
為確保您享有最佳的瀏覽體驗,建議您提升您的 IE 瀏覽器至最新版本,感謝您的配合。

幫助微聽損學生 透過app「讓聲音,直送耳朵」

2019/12/09 研之有物

手機幫忙「智慧聽」

輕微聽損的學生、長輩,因為空間距離、背景噪音,無法聽清楚老師或講者的話語。這種情況,常在課堂與演講中被忽略。中研院張佑榕、曹昱團隊與跨單位合作,打造智慧聽 APP 助聽系統,讓聲音直送耳朵,學習沒有距離。


課堂和演講中,每個人都能聽得清楚嗎?有些並不是。 圖/iStock
課堂和演講中,每個人都能聽得清楚嗎?有些並不是。 圖/iStock

聽不清楚的困擾

孔子曰:益者三友,友直,友諒,友多聞。而「聞」的前提,就藏在象形字的奧妙中,需要靠「耳」來聽取知識。若是學齡兒童有聽損情況,無法將眼前的「文字」與「聲音」相連結,會造成學習效果下降(註一);對於聽覺稍微退化的長輩來說,聽不清楚旁人的話語,也會心生社交壓力。

生活中常見的聽覺阻礙是:背景噪音、聽者與說話者的距離。

觀察到這些聽覺阻礙,受到馬偕醫學院張秀雯助理教授的邀請,加上雅文基金會張逸屏研究員的合作,中研院資訊科技創新研究中心的副研究員──張佑榕、曹昱,實驗如何透過便利的方法,來解決「因為空間距離和背景噪音,而聽不清楚」的輕微聽損問題。

聲音,直送耳朵

我們可以將「聲波」想像成一位旅者,這位旅者從說話者的嘴巴出發,要到達聽者的耳朵,需要經過一大段空間。張佑榕和曹昱的解決方案是:「我們可以縮減這段空間,讓聲波這位旅者,直接跳到聽者的耳朵」。

這種「聲音直送」的助聽功能,傳統上是透過 FM 調頻系統來達成,但市面上的調頻助聽系統,售價約為臺幣 6 至 8 萬元,並非人人負擔得起,或是有些輕微聽損者還用不到如此高規格的輔具。

幸好,大多數人都有手機,手機又相當強大,張佑榕、曹昱決定用智慧型手機來實現「調頻助聽系統」的功能。

手機安裝「智慧聽」App、搭配藍芽耳機,就能變成類似「調頻助聽系統」的聽能輔具。...
手機安裝「智慧聽」App、搭配藍芽耳機,就能變成類似「調頻助聽系統」的聽能輔具。 圖/智慧聽 SmartHear 說明影片

那麼,要如何讓聲波透過手機走捷徑呢?生活中常用的無線通訊──藍芽和 Wi-Fi,可以為聲波搭出一條高速道路。如下圖所示:

小型課堂或社交場合,說話者的聲音經由面前的手機、藍芽傳輸,直送聽者的藍芽耳機。 ...
小型課堂或社交場合,說話者的聲音經由面前的手機、藍芽傳輸,直送聽者的藍芽耳機。 圖/智慧聽 SmartHear 說明影片、圖說重製林洵安
大型課堂或演講,講師的聲音經由面前的手機、Wi-Fi 傳輸,直送聽者的手機和藍芽...
大型課堂或演講,講師的聲音經由面前的手機、Wi-Fi 傳輸,直送聽者的手機和藍芽耳機。 圖/智慧聽 SmartHear 說明影片、圖說重製林洵安

清除噪音、轉換文字

「聽者與說話者的距離」這個聽覺阻礙,透過無線通訊解決了,但還有另一個問題:背景噪音。

上課時同學很吵、講座場地反射回音,這些噪音都會附加於講者的聲音,讓輕微聽損者聽不清楚。因此,曹昱在智慧聽 APP加上除噪功能,「目前我們是採用 GMAPA (適應性噪音消除演算法,註二),之後會嘗試用深度學習模型來消除噪音。」

日常生活中,就算聽覺健全,有時還是會聽錯別人說的話。考量這個情況,智慧聽 APP 另外加上「錄音」和「語音轉文字」的功能,除了可以重複聆聽確認,也能透過文字判讀聽到的話語。

「若是今天老師講的,我聽懂了七八成,那我再參照文字就能理解九成」,曹昱說明,目前文字是顯示在手機 APP ,若未來能結合穿戴式裝置,例如眼鏡,就能即時將關鍵字顯示在眼鏡上,透過視覺來輔助聽覺。

集眾人智慧的助聽 APP

擅長「語音處理」的曹昱、專精「無線通訊」的張佑榕,兩者的研究融合一起,加上團隊成...
擅長「語音處理」的曹昱、專精「無線通訊」的張佑榕,兩者的研究融合一起,加上團隊成員協力,變成有助於人的「智慧聽」 APP。 圖/張語辰攝影

無論是語音處理、或無線通訊的研究,都是用數學來解決生活問題。不過其實最初跨入這兩個研究領域,初衷是基於好奇心。

談到無線通訊這門學問,張佑榕說:「我們做研究比較像在解一個工程應用的數學問題,透過數理邏輯的推演,這過程很有趣。」從小雖然喜歡數學,但考量數學系太理論,而推甄到偏向應用的電機系,進入無線通訊的領域。

喜歡研究主題有「人味」的曹昱表示,語音處理的題目很有趣,而且可以應用到醫學和工程相關領域,幫助需要的人、讓生活更好。

除了可以發表論文,最快樂的是看到 APP 被點五顆星,留言說很好用。

術業有專攻,建構智慧聽 APP 的過程中,其實最難的是──找到會寫 APP 程式碼的成員。「我們會寫音訊處理、無線通訊、深度學習這些模型,但 APP 的程式和介面設計,依靠林祐成、Alan Chern、Kylon Chiang、賴穎暉教授協力完成與測試。」

團隊亦透過問卷調查使用者的反應,比較「智慧聽 APP」和「調頻助聽系統」的差異。調查結果發現,音質的分數相當,「但經濟實惠這個指標,我們的分數好非常多」。而因藍芽技術的問題,音訊會有一點點延遲,則是後續優化的項目之一。

當課堂和演講中聽不清楚的問題,透過智慧聽 APP 輔助解決後,更能達成因材施教、活到老學到老的目標。

※編註:智慧聽 APP 為 Android 系統版本,若 iOS 系統使用者有類似需求,可運用 AirPods 變成輔聽器。

執行編輯|林婷嫻美術編輯|林洵安

本文經「研之有物」授權轉載(原文標題:課堂裡的隱性需求:聽不清楚、不敢舉手)。


「一個人為社會付出很辛苦,但一群人就不會寂寞。」每個人都可以用自己的方式成為倡議家:

立即加入【倡議+】社團:http://bit.ly/2JtBxB6

推薦閱讀

不在學校的教育 給學生一堂不同的地方課

國際反霸凌月 玩轉學校推創意教材拒霸凌

中研院追蹤研究19年 偏差少年30歲後創業多

作者文章

不論銷售、生產或消費都應該負起環境成本的責任,客人與店家幫忙回收瓶器,整個商品的...

浴室裡的減塑日常!ZERO BOTTLE連洗澡都愛地球

2021/01/19
過去女性時常同時扮演媽媽、媳婦、老婆的角色,擁有多重身分的女性,在角色中奔波轉換...

婚姻=生育?從《未來媽媽》看女性「生育指南」

2021/01/18
智庫警告,英國脫歐貿易協議可能嚴重影響勞工權利、氣候和其他環境保護措施。 圖/A...

智庫警告:脫歐協議,影響英國勞工權利和環境保護

2021/01/15
不少民眾會使用暖暖包禦寒。
 圖/讀者提供

暖暖包用完先別丟! 募「鐵粉」替棒球小將補球場

2021/01/15
去年有超過15億只口罩流入全球海洋,相當於新增6200噸海洋塑膠汙染。巴西保育人...

15億只口罩流入海洋.....企鵝屍體胃內有口罩

2021/01/14
2020年夏天飆高溫,再加上因疫情在家辦公,住宅用電成長顯著。 圖/wsifra...

2020全台用電量破紀錄-防疫待在家,宅電增最多

2021/01/14

最新文章

諾貝爾經濟學家班那吉與杜芙若的觀察深刻:如果孩子無力掌握環境,就自然會啟動短視的...

教孩子理財,從借錢開始-大學裡的「儲蓄互助社」

2021/01/07
劉育豪透過生活化的性平教育,一點一滴建立多元、尊重、開放的兩性觀念。 圖/李曉萍...

他,劉育豪-在國小課堂教授保險套的「那個老師」

2020/12/29
早在疫情發生前,凱澤大學早已意識到線上學習的重要性,因此他們所開發的Keiser...

當學校不僅止於「線下」-疫情催化的數位教育革命

2020/12/23
用設計帶進社區,讓公園與閱讀發生共鳴與關係,也給孩子與家長對公園有了不一樣的想像...

「罐頭公園掰掰」是兒童友善起點,那下一步呢?

2020/12/14
現在有許多學生,進大學發現選的科系跟他想像不一樣,他讀的成績不好而轉系轉不出去,...

接住孩子-台大教授葉丙成「大學需要4個改變」

2020/11/26
2020雜學校開幕貴賓與參展團隊。 圖/雜學校提供

雜學展6歲了還是「不乖」!線上展覽「快閃」24hr

2020/11/18

回應

Top