(相關(guān)資料圖)
千易網(wǎng) 5 月 25 日消息，巴塞羅那超級(jí)計(jì)算中心（BSC）和加泰羅尼亞理工大學(xué)（UPC）的研究人員開(kāi)發(fā)了一種將手語(yǔ)翻譯成文本的新工具，以給予聽(tīng)覺(jué)障礙者更多包容性和可及性。該工具利用人工智能技術(shù)，包括自我注意機(jī)制和更快的吞吐量，以更準(zhǔn)確地理解手語(yǔ)者的姿勢(shì)并產(chǎn)生準(zhǔn)確的文字轉(zhuǎn)寫(xiě)。
該工具基于 How2Sign 數(shù)據(jù)集，這是一個(gè)公開(kāi)可用的大規(guī)模、多模態(tài)和多視圖數(shù)據(jù)集，包括 80 小時(shí)的美國(guó)手語(yǔ)教學(xué)視頻和相應(yīng)的英語(yǔ)文字記錄。該數(shù)據(jù)集由 BSC 和 UPC 發(fā)布，用于訓(xùn)練模型，以便將手語(yǔ)轉(zhuǎn)換為文本。研究人員使用膨脹式三維網(wǎng)絡(luò)（I3D）對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，這是一種視頻提取方法，可以對(duì)視頻進(jìn)行三維過(guò)濾，直接從視頻中獲取時(shí)空信息。并使用了一個(gè)轉(zhuǎn)化器式的機(jī)器學(xué)習(xí)模型，與 ChatGPT 等其他人工智能工具背后的模型類(lèi)似。
該研究的主要作者 Laia Tarrés 表示：“我們開(kāi)發(fā)的新工具是以前發(fā)布的名為 How2Sign 的出版物的延伸，在那里，訓(xùn)練模型所需的數(shù)據(jù)被公布。利用這些已經(jīng)可用的數(shù)據(jù)，我們開(kāi)發(fā)了一個(gè)新的開(kāi)源軟件，能夠?qū)W習(xí)視頻和文本之間的映射。”
研究人員發(fā)現(xiàn)，他們的模型能夠產(chǎn)生有意義的翻譯，但仍存在改進(jìn)的空間。該工具尚處于實(shí)驗(yàn)階段，研究人員將繼續(xù)努力，以創(chuàng)建一個(gè)能夠與無(wú)聽(tīng)力損失者使用的技術(shù)相媲美的工具。
Laia Tarrés 同時(shí)表示：“這個(gè)自動(dòng)手語(yǔ)翻譯的開(kāi)放工具是對(duì)關(guān)注無(wú)障礙環(huán)境的科學(xué)界的寶貴貢獻(xiàn)，它的發(fā)表代表了向?yàn)樗腥藙?chuàng)造更具包容性和無(wú)障礙的技術(shù)邁出的重要一步?！?/p>
上一篇：瘋狂開(kāi)店的零食集合店，“快開(kāi)快關(guān)”的創(chuàng)業(yè)夢(mèng)-每日?qǐng)?bào)道
責(zé)任編輯：
