世界首創！日本NEC結合AI技術實現動態影片自動生成文字說明，首次應用於行車記錄器

日本電氣公司（NEC）開發了世界首創的技術，結合生成式AI（Generative AI）的大型語言模型（Large Language Model, LLM）和影像識別AI，可以從長時間的影片中，依據使用者的需求自動生成短影片和文字說明。

雖然使用生成式人工智慧可以做到從靜態圖片自動生成文字說明，但應用在隨著時間變化的物體與環境等複雜場景的影片尚有困難。因此，NEC首先將此技術應用於行車記錄器的影片分析，目前針對事故發生當下的情況、發生經過等已能成功生成文字說明並製成短影片。此外，根據這些資訊，還能設定自動生成事故調查報告之格式，並用於損害保險理賠和交通安全指導等用途。

該技術的特色有以下三點：一、高效辨識場景，迅速製作報告書。透過結合影像識別AI和大型語言模型，可以理解影片中的各種場景，相較於整個影片的分析，能夠更有效地找出使用者所需的場景，無需以人工反覆確認整個影片。二、透過對影片的準確解釋，生成與專業人士相同品質的報告書。為了提高生成文章的品質，使用特定領域的樣本影片對LLM進行事先訓練，以使LLM具備專業知識，確保其正確理解影片中發生的事件，生成具有高可靠性的報告書。三、無須使用大型電腦，數秒內生成報告書。

NEC以行車記錄器的影片為應用該技術的試驗，試驗結果顯示，相較於傳統手動尋找事故的原因和場景，並撰寫報告書，該技術能將報告書製作的時間減少一半。未來，NEC計劃將該技術應用於更多且廣泛的案例中。

資料來源：RobotStart新聞（2023-12-07）
【原文/出處】