図1：本取り組みが目指す工場設備点検の省力化イメージ2024年12月20日
NTT數據集團有限公司
NTT通訊服務株式會社
伊藤忠科技解決方案株式會社
三菱化學集團株式會社
株式會社NTT數據集團（以下：NTT數據集團）、NTT通訊服務株式會社（以下：NTT通訊服務）、伊藤忠科技解決方案株式會社（以下：伊藤忠科技解決方案）、三菱化學集團株式會社（以下：三菱化學集團）旨在通過利用IOWN APN注1和AI的應用實現智能維護，減輕工廠設備檢查人員的負擔。這次，我們開展了利用APN的機器人遠程操作和使用AI進行圖像分析的工廠設備遠程檢查的共同驗證。驗證結果顯示，能夠實時檢測到工廠牆面上管道的裂縫，並精確解析管道振動等老化跡象，取得了具有實用化潛力的高水平數值結果，滿足了圖像延遲時間和畫質的要求。今後，我們將通過同時獲取多臺機器人和設備的圖像、聲音等環境信息，以及實施多模態AI分析注2，力求實現更高精度和實時性的遠程工廠監測世界。
圖1：本項目旨在實現工廠設備檢查的省力化圖示
背景
NTT數據集團、NTT Comware、伊藤忠科技解決方案、三菱化學集團正在參與IOWN全球論壇（以下簡稱IOWN GF）的活動，以實現可持續社會。34家公司開發了一個包括遠程操控機器人的功能和要求的遠程控制機器人檢查用例的參考實施模型，與IOWN GF的合作伙伴公司一起。
驗證的概述
在工廠等製造現場，設備維護所需的定期檢查是必不可少的，且如果設施規模較大，檢查所需的工作量就會增加。同時，進行高空檢查時存在墜落等危險。爲減輕現場工作人員的負擔，我們驗證了利用IOWN APN的優勢，實現高速、超低延遲和寬帶通信的機制，使遠程機器人得以巡檢，以及利用實時影像檢測管道異常的機制。具體而言，我們在距離120公里的APN環境中構建了臺場至五反田之間的連接，並從多個設備以低延遲傳輸高清影像，通過AI分析驗證設備異常的檢測。
各公司的角色
| NTT數據群 | 提供機器人和管道的振動分析系統 |
| NTT Comware | APN環境的提供，圖像識別AI的提供，將牆面上管道的裂縫分析結果可視化到數字孿生環境的應用程序提供，機器人的提供 |
| 伊藤忠技術解決方案 | 支持RDMA的FA相機環境的提供，通過APN進行非壓縮實時視頻傳輸驗證 |
| 三菱化學集團 | 對工廠設備檢查所需的功能需求和非功能需求等的定義 |
圖2：本驗證的形象
圖3：驗證中使用的機器人
（左上）NTT通信公司使用的HBA公司生產的HBA SMART ROBOT
（右下）NTT數據集團使用的Unitree生產的狗型機器人
各公司的驗證內容和結果如下所示。
NTT數據群
NTT數據集團通過將其長期積累的計算機視覺技術與最新的機器人結合，旨在實現對遠程設備的自動檢測/監視。在此次驗證中，我們遠程操作Unitree生產的狗型機器人Unitree Go2，並通過機器人上配備的相機拍攝的畫面，利用AI對檢驗對象管道的振動進行分析。管道的異常振動是表明劣化或破損跡象的重要數據。從前，工人在點檢中依靠目視或聽覺進行判斷，而這依賴於作業員的熟練程度，因此需要減少遺漏和錯誤判斷的風險。在本次驗證中，我們驗證了人工產生的管道振動能否從機器人拍攝的畫面中被高精度分析，並且實現了設定的遠程操作和視頻分析目標值。
圖4：NTT數據集團的驗證形象
遠程操作
在拠點間的APN中，機器人能夠順利連接。此外，機器人攝像頭實時傳輸的影像，操作人員在遠程PC上沒有感到延遲，可以確認操作人員在觀看影像的同時，通過PC的鍵盤或遙控器遠程操作機器人。
影像解析
通過機器人攝像頭識別和拍攝的管道影像，分析了振動的有無。機器人能夠從標記中識別出解析目標的管道，沒有出現管道識別錯誤。此外，從影像解析中也能夠提取管道的振動振幅和頻率。雖然機器人自身也在電機等的振動中，但依然能夠順利地解析出管道的振動，並能夠確定管道振動的時間。根據這個結果，正在與三菱化學株式會社岡山事業所設備技術部進行確認，是否能夠解析指定的實際參考值：振幅0.1mm，頻率60Hz。
圖5：管道的振動解析結果
NTT Comware
通過點檢機器人搭載的攝像頭拍攝的遠程工廠設備等影像進行AI解析，實現數字孿生，以此來實現智能維護。在本次驗證中，承擔了整個項目的管理，進行了驗證環境的構建、實施和進度管理。在驗證中，解析通過APN傳輸的流媒體影像，實時反映檢測到的牆面上管道的裂縫到數字孿生環境，以驗證能夠遠程查看。
・構建APN等驗證環境
在作爲驗證地點的臺場-五反田之間，設計並構建了最大120公里的遠程APN驗證。此外，這次驗證使用的數字空間是利用NTT Comware的4DVIZ實現的3D數字孿生空間。
・通過圖像識別AI進行裂縫檢測與分析
通過遠程操作的檢測機器人（HBA SMART ROBOT）臂上安裝的攝像頭拍攝的視頻，利用圖像識別AI Deeptector進行分析，檢測現實時空牆面上的管道裂縫並實時反映到數字孿生環境中。同時，在數字孿生環境中，點擊與現實空間相同位置上繪製的裂縫圖標，可以參考現實空間中有裂縫的位置的圖像。在此次驗證中，4K 60fps的高分辨率視頻通過無線和APN發送，即使在遠程地點也能無延遲地進行裂縫的檢測和分析，確認其具備實際設備檢測的可用水準。
圖6：圖像識別AIによる裂縫檢測圖像
伊藤忠技術解決方案
使用能夠在不通過CPU的情況下實現高速數據通信的遠程直接內存訪問（RDMA）攝像頭，對APN上的大容量視頻進行實時傳輸進行了驗證。在改變攝像頭與PC之間APN的距離從0公里到120公里的過程中，發送視頻的結果顯示，隨着APN之間的距離增加，吞吐量（數據傳輸速度）和每秒顯示的圖像數量fps（幀率）有所下降。通過對2K和4K視頻的實測值進行模擬，明確了APN距離與吞吐量的關係。此外，關於視頻的延遲，APN的傳輸延遲相比設備的處理延遲影響更大，因此了解設備選擇的重要性。同時，與一般TCP傳輸相比，這次的RDMA傳輸使CPU負荷減少了6%，確認了抑制功耗的效果。
圖7：伊藤忠科技解決方案 驗證構成圖像
三菱化學集團
在此次驗證之前，通過製造現場的預備驗證，協助識別遠程點檢中的現場需求及需了解的條件。此外，着眼於未來的實際應用，深入探討了設備維護工程師等現場工作人員在工廠設備點檢中所面臨的負擔原因。這些意見作爲現場的聲音，反映在此次驗證條件（振動條件、數據容量、速度等）中。
關於未來
四家公司將繼續推進機器人遠程操作、分析的高度化，以及實現更遠距離環境下的無縫視頻傳輸。此外，通過使用多個機器人和設備同時獲取視頻及音頻等環境信息，並進行多模態AI分析，致力於實現對遠程現場狀況的高精度實時把握。這樣不僅能大幅減輕點檢作業員的負擔，同時還將提高高空作業的安全性，解決製造業者面臨的問題。今後，將在IOWN GF進行意見交換，同時推進利用APN創建解決方案和新功能開發。在下一階段，計劃在三菱化學集團的製造現場，完善通信環境，並對機器人應用和AI分析的異常檢測進行驗證。
註釋
- 注1APN（全光網絡）作爲IOWN的主要技術領域之一，旨在從終端到網絡引入以光爲基礎的技術，通過波長網絡提供端到端的光波長路徑，力求實現壓倒性的低能耗、高速大容量、低延遲傳輸。
APN環境是支撐APN的基礎設施的統稱。 - 注2多模態AI是一種可以根據希望實現的內容綜合利用各種類型的輸入信息進行判斷的AI。模態是指輸入給AI的信息類型（圖像、聲音、文本等）。
- 注3IOWN全球論壇是爲實現IOWN構想而成立的國際組織。目前有超過150家企業和組織參與。
- 注4直線距離大約是5km，但在本次驗證中，通過多個節點進行通信，總距離爲120km。五反田位於東京都品川區，臺場位於東京都港區。
- 「4DVIZ」是NTT Comware株式會社在日本國內的註冊商標。
- 「Deeptector」是NTT Comware株式會社在日本國內的註冊商標。
- 其他板塊商品名稱、公司名稱、組織名稱均爲各自商標或註冊商標。
本件的諮詢聯繫信息
報道關係的詢問聯繫處
株式會社NTTデータ
宣傳部
梅原
電話：03-5546-8051
電子郵件：nttdata-pr-inquiries@am.nttdata.co.jp
NTT通信株式會社
公關部
電話：03-5796-4139
電子郵件：kouhou@nttcom.co.jp
伊藤忠科技解決方案株式會社
宣傳部
電話：03-6433-4570
電子郵件：press@ctc-g.co.jp
三菱化學集團公司
宣傳總部廣播關係部
電話：03-6748-7140
產品·服務相關諮詢聯繫方式
NTT數據集團有限公司
技術革新統括本部
創新技術部
田端、矢實
電話：050-5546-9741
