NVIDIA對話式AI模型為開發者提供強大的語音功能

NVIDIA對話式AI模型為開發者提供強大的語音功能

作者:陶然
編輯:
2021-09-01 10:35
IT168網站 原創 分享

  日前,在INTERSPEECH大會上,NVIDIA展示了其對話式AI最新研究成果。開發者和創作者可使用最先進的對話式AI模型進行具有表現力的語音合成,為角色、虛擬助手和個性化形象生成聲音。

  如今,AI已將合成語音從單調的機器人呼叫和傳統GPS導航系統轉變成智能手機和智能音箱中動聽的虛擬助手。

  但AI合成語音與我們在日常對話和媒體中聽到的人類語音之間仍有差距。這是因為人在說話時會有複雜的節奏、音調和音色,而AI很難在這些方面進行模仿。

  但這一差距正在迅速縮小。NVIDIA研究人員正在創建高質量、可控制的語音合成模型和工具,這些模型和工具能夠捕捉人類語音的豐富性,並且不會出現音頻雜音。NVIDIA研究人員目前正在INTERSPEECH 2021大會上展示他們的最新項目。本屆大會將持續到9月3日。

  據了解,這些模型有助於為銀行和零售商的自動客戶服務熱線配音、使視頻遊戲和書籍中的人物變得栩栩如生,併為数字化身提供實時語音合成。

  NVIDIA的內部創意團隊甚至使用該技術為一個關於AI力量的系列視頻製作了動人的解說。

  情感語音合成只是NVIDIA研究院在對話式AI領域的重點工作之一。該領域還包括自然語言處理、自動語音識別、關鍵詞檢測、音頻增強等。

  這些前沿工作經過優化后可以在NVIDIA GPU上高效運行,其中的一些工作已經通過NVIDIA NeMo工具包開放源代碼,可在NVIDIA NGC容器和其他軟件中心獲得。

  I AM AI幕後花絮

  NVIDIA研究人員和專業創作人員並不是在針對對話式AI進行紙上談兵。他們通過身體力行,將突破性的語音合成模型應用於I AM AI系列視頻中。該系列視頻介紹了重塑各個行業的全球AI創新者。

  不久之前,這些視頻還都是由人類配音的。以前的語音合成模型對合成聲音節奏和音調的控制十分有限,因此AI配音無法喚起觀眾的情感反應,只有富有感情的人類聲音才能做到這一點。

  在過去的一年中,NVIDIA文本-語音研究團隊開發出更強大、更可控的語音合成模型(如RAD-TTS),使得上述情況發生了變化。NVIDIA在SIGGRAPH Real-Time Live比賽中的獲獎演示就採用了這個模型。通過使用人類語音音頻來訓練文本-語音模型,RAD-TTS可以將任何文本轉換成說話人的聲音。

  該模型的另一項功能是語音轉換,即使用一名說話人的聲音講述另一名說話人的話語(甚至歌唱)。RAD-TTS界面的靈感來自於將人的聲音作為一種樂器這一創意。用戶可以使用它對合成聲音的音調、持續時間和強度進行精細的幀級控制。

  通過這個接口,視頻製作者可以在錄製中自行閱讀視頻文本,然後使用AI模型將他作為男敘述者的語音轉換成女敘述者的聲音。製作者可以使用這個基準敘述,像指導配音演員一樣指示AI,比如通過調整合成語音來強調特定的詞語、修改敘述節奏以更好地表達視頻中的語氣等。

  該AI模型的能力已超出了配音工作的範圍:文本-語音轉換可以用於遊戲、為有聲音障礙的人提供幫助、或幫助用戶用自己的聲音進行不同語言的敘述。它甚至可以重現標誌性歌手的表演,不僅能夠匹配歌曲的旋律,還能匹配人聲背後的情感表達。

  為AI開發者和研究者提供強大的語音功能

  NVIDIA NeMo是一款用於GPU加速對話式AI的開源Python工具包。研究者、開發者和創作者通過使用該工具包,能夠在自己的應用實驗和和微調語音模型方面取得先機。

  NeMo中易於使用的API和預訓練模型能夠幫助研究人員開發和自定義用於文本-語音轉換、自然語言處理和實時自動語音識別的模型。其中幾個模型是在NVIDIA DGX 系統上使用數萬小時的音頻數據訓練而成。開發者可以根據自己的使用情況對任何模型進行微調,運用NVIDIA Tensor Core GPU上的混合精度計算加快訓練速度。

  NVIDIA NeMo還通過NGC提供在Mozilla Common Voice上訓練的模型,該數據集擁有76種語言、近14000小時的眾包語音數據。該項目的目標是在NVIDIA的支持下,通過全球最大的開源數據語音數據集實現語音技術的普及化。

  語音技術的盛宴:NVIDIA研究人員展示AI語音技術的最新進展

  INTERSPEECH匯聚了1000多名研究人員,他們展示了語音技術方面的突破性進展。在本周的會議上,NVIDIA研究院將展示對話式AI模型架構以及供開發者使用的完全格式化語音數據集。

0

來源鏈接:http://server.it168.com/a2021/0901/6534/000006534606.shtml