July 17, 2021
AI主播是什麼?
「AI主播」是透過虛擬人技術的的支持下, 通过人臉的關鍵特色偵測、人臉特徵擷取、臉部重構、唇語辨別、情感及表 情的分析等多項先進科技合成AI主播, 並結合圖像及語音等資料建立模型,並且進行模型的訓練精準化模型,生成與真 人高度相似的的AI虛擬分身模型,進而合成AI主播。 合成的主播能夠將所輸入的中英文文稿自動生成相對應之影片,在 播報過程中,AI主播的音頻、表情以及唇語嘴形可以保持自然一致,AI主播完全展現出與真人主播無差異的資訊傳達效果。
誰是AI主播韓小夏(Summer Hen)?
「AI主播」韓小夏(Summer Hen)是集仕多股份有限公司(ChoozMo inc) 所製作的台灣第一個AI主播。 「AI主播」韓小夏是個人工智能新聞主播,擬真程度與人類表現驚人地相當高。它不僅具有與新聞主持人的特色和聲音,而且 還模仿了一般主播做出的小動作,例如在報導新聞時展現一些手勢。集仕多股份有限公司(ChoozMo inc)使用獨家的技術,通過深度學習與機器學習技術 學習真人的動作及表情,學習聲音的細節、說話的方式、面部表情、她的嘴唇和她移動身體的方式,生成出高度擬真的AI主播韓小夏。
AI主播使用什麼技術?
「AI主播」主要運用深度神經網路、深度學習、Deep Fake技術透過虛擬人技術的的支持下, 通過人臉的關鍵特色偵測、人臉特徵擷取、臉部重構、 唇語辨別、情感及表情的分析等多項先進科技合成AI主播, 並結合圖像及語音等資料建立模型,並且進行模型的訓 練精準化模型,生成與真人高度相似的的AI虛擬分身模型,進而合成AI主播。 合成的AI主播能夠將所輸入的中英文 文稿自動生成相對應之影片,在播報過程中,AI主播的音頻、表情以及唇語嘴形可以保持自然一致,AI主播完全展現 出與真人主播無差異的資訊傳達效果。
全球有哪些AI主播?
韓國首位AI主播日前正式上工,引起網友熱烈討論,與真人幾乎無差別的發音及動作神態引發關注,網友感嘆科技進步同時 不免感到相當憂心,作為AI主播原型的主播金柱夏也直呼要更努力,才不會被AI主播取代。
韓國電視台MBN推出全國首名AI主播,這名以MBN當家主播金柱夏為原型的AI主播「AI金柱夏」是MBN與人工智慧(AI) 開發公司MoneyBrAIn合作研發,只要在系統鍵入1000字以內的原稿,就能自動產生播報畫面。MoneyBrAIn公司代 表張世榮接受媒體訪問時表示,新聞講求即時性,有了AI主播,無論在什麼時後發生重大新聞,都可快速即時提供播報畫面 MBN表示,「使用AI主播可在突發災難狀況時,迅速向觀眾播報新聞內容,且能一天24小時持續工作」,並可節省下大量 人力、時間和費用成本,用於嘗試製作其他新節目也能有效節約資源。AI金柱夏的影片播出後,可以看到許多網友在MBN 的YouTube頻道中留言,對AI主播的逼真程度感到驚艷,感嘆科技進步之快,「完全看不出來是AI」,也有人直呼「好可怕 ,雖然很方便,但工作機會可能又要減少了」。金柱夏本人表示,在看到AI主播的表現後,「對於AI技術總有一天可能威脅 到我的工作而感到不安」,但她也說,會更加努力及全面的傳達屬於人類的情感,這點是AI主播目前還無法做到的。也有不願 透露身分的主播對媒體表示,在AI主播出現後,以真人主播進行的新聞節目競爭預期更加激烈,可望激發出後續更具感性及趣味 的節目內容。
韓國著名 YouTuber「Rui」 (루이)在之前證實,過去在影片中實際露臉的面貌,其實是由南韓軟體技術公司 dob Studio (디오비스튜디)以人工智慧技術打造。依照”扮演” YouTuber「Rui」的本人接受採訪時表示,實際上是因為希望成為一名歌手 ,但是在南韓演藝界極度重視外表的情況下,接受與 dob Studio 合作,透過深度學習的技術,將統計數據中最受歡迎面容組 合,以人工智慧方式動態合成在「Rui」本人在影片中的臉譜上,如AI主播一般 ,運用Deepfake技術, dob Studio 將深 度學習組合出的面容套用在影片內容中,因此實際上僅有頸部以下身體、頭髮與聲音部分為「Rui」本人。除了 YouTube 影片 內容藉由 dob Studio 合成面容,包含在 Instagram 上的靜態照片內容,其實也是藉由人工智慧技術合成。而借助人工智慧 創造的虛擬人物網紅、實況主,在目前相關技術持續精進之下,顯然也有越來越多應用可能性,例如可播報新聞的AI主播,虛擬實 況主,日本 Hololive 便是提供讓人以虛擬人物形式進行實況直播,而南韓 MBN 電視台也以當紅主播金柱夏形象,與人工智慧技 術公司。MoneyBrAIn 合作打造人工智慧AI主播「AI 金柱夏」 (AI 김주하),藉此協助新聞內容播報。
中國在AI主播的發展市場上,也陸續發表了多款AI合成主播,這款被命名「新小浩」的站立式AI主播,仍然以 新華社主播邱浩為原型,在聲音和圖像兩大引擎上有了較大的優化和突破。在聲音方面,採用領先的波形建模技術生 成音頻,大大提升了合成音頻的表現力和真實度,使聲音更具起伏及情感。在圖像方面,通過模型優化及多重數據的使用, 實現更加逼真的表情合成、肢體動作與語義的恰當匹配以及更加自然的唇動及嘴形效果。「新小浩」不僅能坐著播報新聞,還 能站起來,帶著手勢、姿態等多種肢體動作聲情並茂地播報新聞,更加智能,更接近於真人。對於引人關注的新推出的AI女主播 ,基於AI合成主播更加成熟的技術,AI女主播播報效果和穩定性顯著提升。在2018年舉行的第五屆世界網路大會上,新華社聯合搜 狗發布全球首個合成新聞主播——「AI合成主播」,運用最新人工智慧技術,創造出與真人主播擁有同樣播報能力的「分身」,引起了世 界的關注。
由三星旗下獨立實驗室STAR Labs孵化出NEON虛擬人,之所以叫NEON,是因為NEON一詞源自NEO(新)+ humaN(人類)。 NEON虛擬人在對人物原始面部、聲音等數據進行捕捉並學習之後,可以自主創建未錄入過的新表情、新動作、新對話,甚至能 說其他語言,可應用於AI主播等層面,未來的應用相當的廣大。NEON虛擬人不只是百科般的語音助手,而是能像真人一樣快速響 應對話,做出真實表情神態的夥伴。三星Star labs戰略負責人Bob Lian提到:「我們希望創造一個有自己的表情、行為、情感、 甚至感覺和記憶的新生命。」
新聞主播的工作內容是什麼?
新聞主播是通過報導在地方、國家和國際層面上發生的新聞故事和事件來通知公眾的記者。作為電視新聞廣播的首席記者,他們利用自己的公開演講技巧準確而簡潔地將新聞傳達給觀眾。正如職位所暗示的那樣,他們是共同主持或主持新聞節目的專業人士。在現場記者發表各自的故事後,他們保持節目片段之間的連續性。
成功的新聞主播擁有追蹤者,即在特定市場中信任並偏愛他們而不是其他選擇的觀眾。一些主播因報導歷史上的特定事件而退休多年後仍被人們記住。已故的沃爾特·克朗凱特(Walter Cronkite)當然就是這種情況,他在 CBS 的 19 年職業生涯包括報導 1963 年約翰·肯尼迪總統遇刺事件和 1969 年首次登月。
如何製作一個AI主播?
建立輸入文稿與輸出音頻訊息的關聯,在圖像的生成技術中,使用人的臉孔辨識,以及三維的臉部重建、表情建模以及肢體動作模型, 建立輸入的文稿、輸出的音頻和視覺動畫的關聯及合成,最終產出栩栩如生AI主播。