隨著百年未有之大變局的演進,世界不穩定性不確定性的增加,全球產業鏈、供應鏈正面臨重塑的挑戰,商業模式正發生顛覆性的變化。在此大環境下,制造業的數字化、智能化轉型已經不是“搶答題”,而是關乎從“中國制造”向“中國智造”轉變的“必答題”。2021 年國家相關部委發布了《智能制造試點示范行動實施方案》,探索具有行業區域特色的智能轉型升級已經成為制造行業乃至整個社會的重要課題。制造業加快數字化賦能不僅為提質增效創造了條件,提高了企業的投資回報率和生產效率;也有利于企業提升產業鏈上下游協作配套水平,為提高產業鏈現代化水平打好基礎,加快推動制造強國建設。
作為智能制造的重要一環,視覺人工智能系統廣泛地應用于智能消費和智能制造等領域,成效顯著,領域不斷細分。目前機器視覺產品廣泛分布在智能汽車、互聯網視頻、智能手機、智能安防、智能零售等行業,并且呈現持續增長態勢并推動多行業產業鏈的重構。
在工業制造領域,伴隨柔性制造系統的推廣以及傳感、模式識別等技術的快速進度,針對工業需求的視覺和圖像技術逐步成熟,制造業信息獲取能力進一步加強,機器視覺配合邏輯控制、運動控制、數據采集、通信網絡等其他功能,已能夠出色地完成圖像識別、檢測、視覺定位、物體測量和分揀等工作,特別是將機器視覺技術嵌入工業機器人控制系統,通過精準化的識別和抓取,大幅提高了生產過程的柔性和靈活性,為后續工況監測、質量檢驗等生產環節提供重要的數據支撐。
通常所說的視覺檢測也就是機器視覺,通過將人的視覺功能賦予機器,使得機器代替人工完成高精度、高密度的工作,其具備非接觸、高精度、高速度等特點,廣泛應用于產品缺陷識別、測量等領域。工業視覺系統一般包括:光源、鏡頭、相機、采集卡、圖像處理軟件、控制器、通訊單元等。通過相機在鏡頭、光源的輔助下將客觀事物的圖像進行拍照,然后通過采集卡將圖像采集后存放在計算機或服務器硬盤中,圖像處理軟件利用規則算法將圖像切分、計算后得出一定的結果,并將結果用于對產品或設備的檢測、測量、控制等。
目前工業中使用的現有技術存在一定的缺點或缺陷:檢測設備功能單一,兼容性差,只能針對當前型號的產品進行檢測,如果需要不同材質、種類、顏色、特點的產品進行檢測時,就會需要對光源、鏡頭、相機、采集卡、圖像處理軟件、控制器、通訊單元等進行更換或者修改;單個設備不能實現同時完成所有檢測面的檢測,需要對產品 360 度無死角檢測時,需要設立多個工位對產品不同角度進行圖像采集;檢測周期長,不能對一款產品進行 360 度無死角檢測時在極短的時間內給出結論;換模時間長,更換檢測產品時,不能提供敏捷的數據標注、模型訓練、模型更新及下發管理模式。
作為神經網絡的高階發展產物,深度學習通過大腦仿生使得計算機從經驗中學習知識,根據層次化概念體系理解環境,進而去人化地解決難以形式化描述的任務。深度學習的常用模型主要包括循環神經網絡、卷積神經網絡和稀疏編碼等,主要應用于圖像處理、數據分析、語音識別等領域?;谏疃葘W習的產品缺陷視覺檢測是一種快速、高效、準確率高的缺陷自動識別方法,借助特征可視化手段對深度學習模型提取到的特征進行可視化分析來檢測產品瑕疵,進而精準打標,提升分級模型訓練的準確度,實現產品缺陷的高效準確分級,解決注塑工業中外觀檢測的痛點和難點。
基于深度學習的機器視覺系統整體架構如圖所示,包括了采集系統、管理及控制系統、質檢應用系統、模型更新系統以及邊云一體的底層計算集群等子系統,系統架構應適于遠距離網絡傳輸和多機房現狀。各子系統主要工作和具體內容如下:
采集系統主要負責進行樣品各表面圖像的采集,并將圖像數據上傳至邊云一體的計算設備。包括整體產線采集流程的設計、工位數量和配置;針對不同檢測任務和產品的光學設備模組設計和成像方式設計等。
管理及控制系統主要對光學設備模組進行配置管理,同時負責圖像的采集上傳。管理控制系統內置針對不同塑件產品類型的光學和不良品規則方案,提供接口給前端進行產線的相應配置。
質檢應用系統主要包括圖像預處理模塊、視覺模型庫以及基于物理量測量的規則判定模塊。系統首先對圖像進行增強、拆分等預處理,根據產品類型、檢測任務選擇合適的模型對圖像進行分析識別,最后再針對具有面積、長度等物理量化標準的缺陷進行計算和判定,最終得到良品或不良品的判定結果,反饋給管理及控制系統。
模型更新系統是對模型進行持續優化和下發部署的管理平臺,可以利用產線持續采集的數據,通過標注工具進行標注后,對模型進行訓練和優化版本升級。
基于深度學習的機器視覺系統整體架構
機器視覺質檢系統包括產線上的成像、運動、顯示等前端模塊;部署在工控機上的控制模塊;部署在機房 GPU 服務器集群上的推理及訓練服務模塊。
進行檢測任務之前,產線工人首先需要通過配置前端對產線進行配置,確定檢測的產品種類和業務信息。開始檢測后,系統通過成像模塊采集圖像信息,在工控機上通過簡單的預處理,將圖像通過 5G 網絡傳輸至 GPU 服務器集群,調用推理服務得到缺陷檢測結果,工控機的控制模塊對缺陷推理服務返回的結果進行處理后,根據良品、待判、嚴重不良三種類型通過機械結構對產品進行處理。
同時,采集到的圖像信息會以一定策略通過分布式的對象存儲服務進行留存,供訓練服務調用,從而對模型進行持續優化迭代。訓練服務同樣部署在 GPU 計算集群上。
通過前端可視化工具可以對模型和采集的圖像進行管理,對產品模板和判定規則進行配置,同時還可以在瀏覽器上對新采集的樣本圖像進行標注,用于模型的優化迭代和更新。
圖像增強:圖像增強就是對圖像采集系統采集的產品外觀圖片進行圖像增強,采用定制化圖像增強算法,以期調整圖像中缺陷和背景的對比關系,使缺陷更為明顯,方便后續檢測算法處理。
圖像切分:原始的大圖切分為若干個存在重疊區域的小圖。將小圖并行送入深度算法模型進行 GPU 計算,以充分利用硬件資源,符合邊緣集群部署的服務架構。
缺陷檢測:以自研缺陷檢測模型為基礎,針對產品外觀檢測任務及光學方案采集的圖像特點,進行了模型結構及訓練參數的優化,以期構建一個通用的缺陷檢測模型。在較小的資源需求下,實現高準確率的缺陷檢測。
缺陷后處理:針對不同產品外觀,構建定制化后處理流程,對缺陷檢測模型的輸出進行優化和過濾,在保證低漏失率的情況下,進一步降低誤警率。
② 表面缺陷技術選型
以自研缺陷檢測模型為基礎,針對產品外觀檢測任務及光學方案采集的圖像特點,進行了模型結構及訓練參數的優化,以期構建一個通用的產品缺陷檢測模型。在較小的資源需求下,實現高準確率的缺陷檢測。
基于深度學習的機器視覺質檢系統主要由成像模塊、機械模塊、產線交互模塊、一臺工控機、一臺質檢 GPU 服務器和可視化前端構成。
工控機負責調度成像模組和機構完成圖片的拍攝,并將圖片上傳至 GPU 服務器,調用部署在服務器上的算法模型和規則處理程序對缺陷進行識別和判定,最終根據服務返回的識別結果發送給運動機構對應的控制信號。
產線交互模塊內置不同產品種類對應的運動參數,在換線時用戶可通過 HMI 屏或其他顯示設備選擇不同的產品進行配置,并將信息同步至工控機和 GPU 服務器。
前端可視化模塊采用 B/S 架構,質檢人員在對待判產品進行復判時,可在瀏覽器界面通過產品 ID 等信息查詢識別結果、缺陷位置圖片、產線缺陷統計數據。
在筆電外殼注塑件生產環節中,劃傷、磕碰、擦傷等造成的外觀面缺陷以及結構面的漏裝、銅釘不良、結構斷裂等缺陷,是工件成型之后包裝之前必須檢測的細節。某大型注塑企業為國際知名筆電品牌注塑件供貨商,為了實現品質控制投資 1200 萬元建設多條基于深度學習的機器視覺質檢生產線,項目主要建設內容包括:光學方案設計、目標缺陷模型開發和訓練、GPU 集群部署、人工智能數據標注、智能質量控制算法云平臺開發等。
① 技術效果分析
企業通過對基于深度學習的機器視覺質檢產線的部署實現對產品質量的嚴格管控,人工智能缺陷檢測平臺可根據自身的學習能力自主進化,減少人為影響,理論產品漏檢率達 0.01%。
② 投資回收期分析
其中,C 為項目總投資,L 為產線數,W 為每條產線工人數,S 為每人每年平均用工成本,T 為項目建設周期,為工作班制。通過工程建設,企業最終實現 60 條生產線的缺陷快速檢測,每條線減少 2 名工人,不包括建設期的投資回收期為 0.86 年,包括建設期的投資回收期為 1.86 年。
相比于傳統的手動檢測,基于深度學習的視覺檢測在產品缺陷檢測中應用具有更高效、自動的提取特征能力、突出的抽象和表達能力。然而,復雜的工業生產環境、多種多樣的生產工藝等因素,造成注塑品外觀缺陷種類和特征各不相同。目前,基于深度學習的產品缺陷視覺檢測在行業應用上尚無通用的監測算法,針對不同的應用場景,需要分析設計最優的圖像采集和檢測方案。目前行業內在缺陷類別方面雖然有諸多研究,但對于檢出缺陷等級劃分行業性標準的研究開展相對滯后。缺陷等級的劃定對于缺陷后處理環節和最終的企業效益來說至關重要,如何種程度進行產品修復、何種程度淘汰廢棄等。匹配于不同產品工藝和產品性質而進行分析和設計的圖像采集和算法以及如何更高效地使用深度學習技術來提高檢測效率和性能,將是行業應用的研究熱門和未來的發展方向。
我國智能制造系統解決方案市場仍處于起步階段,無論是在技術、能力、服務上還是在行業影響力上都還與產業轉型的需求存在一定的差距,目前問題主要集中在:企業智能化意識未轉型,現階段產業結構抑制智能制造需求;缺乏核心技術,產品和技術創新不足;產業鏈配套發展滯后,智能設備核心部件依賴進口;高端復合型人才短缺,制約行業發展;企業尤其中小企業資金渠道單一,融資困難,無法獨立支撐企業智能化升級。推進智能制造是復雜而龐大的系統性工程,急需一批有實力能創新的系統解決方案供應商,以及各級政策扶持,通過一系列的配套支持共同解難題、謀多贏、促發展,為企業數字化創新賦能,為產業智能化助力。