分享：基于機(jī)器視覺(jué)的焊縫磁粉檢測(cè)缺陷自主識(shí)別系統(tǒng)

隨著造船業(yè)對(duì)船用鋼要求的不斷提高，相關(guān)材料正朝著高強(qiáng)度、高韌性和易焊接的方向發(fā)展[1-2]。在造船過(guò)程中，焊接是一項(xiàng)至關(guān)重要的工序，根據(jù)已有數(shù)據(jù)顯示，焊接船體所需的工時(shí)通常占據(jù)整個(gè)造船工時(shí)的30%~40%，焊接成本約占總造船成本的30%~50%。因此確保高質(zhì)量的焊接工藝和提高焊接效率對(duì)于造船業(yè)至關(guān)重要[3]。隨著焊接技術(shù)的大范圍應(yīng)用，缺陷探傷也逐步在質(zhì)檢環(huán)節(jié)中起著至關(guān)重要的作用。由于磁粉檢測(cè)既經(jīng)濟(jì)又方便，適合于鐵磁性材料的表面缺陷檢測(cè)，并且具有較高的檢測(cè)靈敏度和準(zhǔn)確性，所以可采用磁粉檢測(cè)保證船體焊縫檢測(cè)的可靠性[4-5]。但磁粉檢測(cè)結(jié)果大多利用人眼觀察和人工記錄，人為因素會(huì)對(duì)檢測(cè)結(jié)果造成一定程度影響，甚至可能導(dǎo)致結(jié)果誤判。隨著制造業(yè)的快速崛起，質(zhì)量檢測(cè)工作任務(wù)艱巨，“智能化”的趨勢(shì)促進(jìn)了機(jī)器視覺(jué)技術(shù)在缺陷檢測(cè)領(lǐng)域的發(fā)展。將機(jī)器視覺(jué)與傳統(tǒng)磁粉檢測(cè)過(guò)程相結(jié)合，既可以一次性測(cè)量缺陷等參數(shù)，又可以規(guī)避不同人員檢測(cè)標(biāo)準(zhǔn)不一、誤檢等問(wèn)題，進(jìn)而提高檢測(cè)結(jié)果的準(zhǔn)確性[6]。 

現(xiàn)有針對(duì)焊縫內(nèi)部缺陷檢測(cè)的方法主要有超聲檢測(cè)、X射線檢測(cè)和紅外熱輻射檢測(cè)，表面檢測(cè)的方法主要有磁粉檢測(cè)，滲透檢測(cè)和渦流檢測(cè)[7]。近年來(lái)，人們將機(jī)器視覺(jué)應(yīng)用于焊縫外觀檢測(cè)中，基于機(jī)器視覺(jué)的新型焊縫質(zhì)量檢測(cè)技術(shù)能夠?qū)崟r(shí)識(shí)別缺陷。DING等[8]采用工業(yè)相機(jī)捕捉焊縫圖像進(jìn)行缺陷檢測(cè)，引入Canny邊緣檢測(cè)算法提取圖像邊緣，將Canny邊緣檢測(cè)得到的二值圖像作為輸入進(jìn)行Hough變換，輸出為識(shí)別和提取的圖像邊緣形狀和輪廓。通過(guò)對(duì)焊縫周圍區(qū)域中連續(xù)像素?cái)?shù)量的分析，能夠判斷焊縫是否存在缺陷且能夠快速對(duì)缺陷進(jìn)行定位。熊川等[9]開(kāi)發(fā)了一種基于機(jī)器視覺(jué)的船板連接處焊縫缺陷檢測(cè)算法，該方法利用主成分分析算法提取焊縫圖像中的特征信息，采用特征模板匹配方法實(shí)現(xiàn)了焊縫缺陷的自動(dòng)檢測(cè)，在檢測(cè)焊縫缺陷方面具有較高的準(zhǔn)確性和魯棒性，為船板焊接工藝的質(zhì)量控制提供了有力的技術(shù)支持，并為進(jìn)一步優(yōu)化焊接工藝和提高生產(chǎn)效率提供了可行方案。 

與人工檢測(cè)相比，自動(dòng)缺陷檢測(cè)技術(shù)的優(yōu)勢(shì)在于其能夠適應(yīng)惡劣環(huán)境，且能夠長(zhǎng)時(shí)間高精度、高效率地工作。因此筆者開(kāi)發(fā)了一種自動(dòng)磁粉缺陷檢測(cè)系統(tǒng)，通過(guò)采集焊縫磁粉檢測(cè)后的工件表面圖像，利用計(jì)算機(jī)圖像處理軟件對(duì)檢測(cè)圖像進(jìn)行自動(dòng)化識(shí)別分析和處理，進(jìn)而得到準(zhǔn)確的缺陷檢測(cè)結(jié)果，以更精確識(shí)別焊縫缺陷類型和提升產(chǎn)品質(zhì)量。 

1.   試驗(yàn)準(zhǔn)備

1.1   焊接材料及方法

試驗(yàn)使用母材為10 mm厚的DH36船用鋼，其交貨狀態(tài)為CR（冷軋），DH36鋼屬于碳錳鋼，其化學(xué)成分如表1所示，力學(xué)性能如表2所示。采用手工電弧焊焊接DH36鋼，分別選擇直徑為2.5 mm和3.2 mm的J507焊條，（化學(xué)成分見(jiàn)表1）。焊接接頭采用對(duì)接形式，V型坡口，坡口角度為60°，具體焊接工藝參數(shù)如表3所示。 

1.2   圖像采集系統(tǒng)

光源的選擇和配置對(duì)于采集圖像的質(zhì)量至關(guān)重要，決定了圖像的亮度、對(duì)比度和清晰度，從而影響后續(xù)的圖像處理。LED光源能夠保證光源的一致性、色彩穩(wěn)定性且操作方便，所以文章選擇LED燈作為光源，由于測(cè)試的是金屬焊縫表面，正面照在試件上將發(fā)生鏡面反射，為避免反光過(guò)強(qiáng)干擾圖像的成像效果，所以將攝像頭與母件的夾角保持在45°左右進(jìn)行安裝[10]。CCD相機(jī)利用隔離層進(jìn)行隔離所得到的圖像干擾程度低，成像質(zhì)量更好，故根據(jù)檢測(cè)需求采用HDUSB Camera型相機(jī)[11]。 

整個(gè)視覺(jué)檢測(cè)系統(tǒng)分為以下3個(gè)主要部分：圖像采集部分、圖像處理部分和參數(shù)顯示部分。在圖像采集部分，攝像頭用于采集試件的圖像數(shù)據(jù)；圖像處理模塊負(fù)責(zé)接收?qǐng)D像采集模塊傳來(lái)的數(shù)據(jù)并進(jìn)行圖像數(shù)據(jù)的處理，其主要包含圖像濾波去噪處理、圖像缺陷區(qū)域分割、圖像缺陷區(qū)域特征提取以及缺陷類型分類器的訓(xùn)練驗(yàn)證[12-13]。與此同時(shí)，參數(shù)顯示模塊顯示了缺陷的有無(wú)、類型以及其他相關(guān)參數(shù)，為檢測(cè)結(jié)果提供了相關(guān)的數(shù)據(jù)參考。 

為了實(shí)現(xiàn)焊縫缺陷磁粉檢測(cè)的自主識(shí)別，首先將6個(gè)桿件組裝成一個(gè)高25 cm的立體支架，以保證能在一定高度上安裝相機(jī)，然后將攝像機(jī)固定于支架中間，鏡頭豎直向下以確保能接收到水平畫(huà)面。距離鏡頭大約10 cm左右安置一載物臺(tái)，用于放置試件。將CCD相機(jī)作為前端圖像輸入設(shè)備，放置于試件正上方，圖像采集系統(tǒng)如圖1所示。 

圖  1  圖像采集系統(tǒng)構(gòu)成示意

1.3   相機(jī)畸變與校正

試驗(yàn)所使用的相機(jī)由于透鏡邊緣部分和中心部分的放大倍率不同，圖像會(huì)產(chǎn)生畸變[14]。雖然透鏡的畸變不可消除，但在實(shí)際應(yīng)用中可以通過(guò)校正來(lái)補(bǔ)償此畸變。校正的第一步就是進(jìn)行標(biāo)定，目前存在很多圖像的標(biāo)定方法，廣泛采用的是張正友標(biāo)定法[15]，這種方法通過(guò)固定相機(jī)位置，使用相機(jī)從不同角度和位置拍攝多張包含棋盤(pán)格圖案的圖片，利用線性估計(jì)法和最小二乘法對(duì)其進(jìn)行計(jì)算。文章移動(dòng)棋盤(pán)圖位置采集16張圖像，利用OpenCV方法進(jìn)行圖像標(biāo)定，并通過(guò)CameraCalibrator工具箱進(jìn)行標(biāo)定，并利用獲得的標(biāo)定參數(shù)對(duì)圖像進(jìn)行校正，其結(jié)果如圖2所示。使用張正友標(biāo)定法進(jìn)行標(biāo)定，標(biāo)定重投影誤差小于0.33個(gè)像素，標(biāo)定結(jié)果如表4所示。 

圖  2  相機(jī)矯正結(jié)果示意

Table  4.  標(biāo)定結(jié)果

參數(shù)	結(jié)果
相機(jī)內(nèi)參數(shù)矩陣	$<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">[</span>\begin{array}{ccc}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2.301</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);"> </span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">4</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);">×1</span>}{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">0</span>}}^{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">3</span>}}& \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">0</span>}& \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">0</span>}\\ \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">0</span>}& \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">2.529</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);"> </span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">1</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);">×1</span>}{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">0</span>}}^{\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">3</span>}}& \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">0</span>}\\ \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">642.231</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);"> </span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">6</span>}& \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">387.835</span>}\text{<span style="font-size: 16px; color: rgb(0, 0, 0);"> </span>}\mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">8</span>}& \mathrm{<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">1</span>}\end{array}<span\; style="font-size:\; 16px;\; color:\; rgb(0,\; 0,\; 0);">]</span>$
焦距	[1.037 6×103，1.037 6×103]

2.   結(jié)果與分析

2.1   圖像處理

2.1.1   圖像預(yù)處理

首先進(jìn)行圖像預(yù)處理（見(jiàn)圖3），利用CCD、LED光源和計(jì)算機(jī)組成的圖像采集系統(tǒng)采集的圖像如圖3（a）所示。為了提高系統(tǒng)的處理效果，將獲取到的圖像進(jìn)行灰度化處理，以有效減少信息冗余，提高圖像處理效率，處理結(jié)果如圖3（b）所示。為提高圖像的處理效率，同時(shí)能有效提取需要的重要信息（如裂紋等），進(jìn)行對(duì)比度增強(qiáng)處理，得到圖3（c）所示結(jié)果，可以觀察到圖像中的裂紋更明顯清晰，干擾因素減少。 

圖  3  原圖及其預(yù)處理結(jié)果對(duì)比

2.1.2   圖像濾波去噪

然后進(jìn)行圖像濾波去噪處理，有多種方法可以對(duì)圖像進(jìn)行去噪處理，包括均值濾波、高斯濾波和中值濾波等。均值濾波采用多次測(cè)量取平均值的方法，通過(guò)替換每個(gè)像素的值為其鄰域內(nèi)像素值的平均值來(lái)減少圖像中的噪聲，該算法簡(jiǎn)單，計(jì)算量較小，對(duì)高斯噪聲有良好的去除效果，但是其會(huì)模糊圖像的邊緣和細(xì)節(jié)。高斯濾波器可以有效地平滑圖像，減少隨機(jī)噪聲，但在需要保留圖像邊緣和細(xì)節(jié)的應(yīng)用中，表現(xiàn)較差，如邊緣檢測(cè)、圖像分割。相比之下，中值濾波算法在處理特定類型的噪聲時(shí)表現(xiàn)較好，且在需要保留邊緣和細(xì)節(jié)的圖像處理任務(wù)時(shí)較為出色。 

將原始圖片加入高斯噪聲與椒鹽噪聲后分別使用中值濾波法、均值濾波法以及高斯濾波法進(jìn)行處理，得到的效果對(duì)比如圖4所示。經(jīng)過(guò)比較，可明顯看出高斯濾波法不適用于文章試驗(yàn)，而中值濾波與均值濾波法相比，中值濾波法所得到的圖像對(duì)比度更強(qiáng)，效果更好，因此圖像平滑時(shí)采用中值濾波法。 

圖  4  不同濾波方法處理后的圖像對(duì)比

2.1.3   圖像分割

為使圖像對(duì)比清晰便于識(shí)別，最后需要進(jìn)行圖像增強(qiáng)。通過(guò)處理數(shù)據(jù)，調(diào)整參數(shù)使圖像均衡化，并繪出相應(yīng)圖像的灰度值，得到如圖5所示的直方圖均衡化結(jié)果和灰度直方圖，再對(duì)灰度圖進(jìn)行圖像分割。為使分割得到的圖像完整地反映出其原本的特征，在使用閾值分割法時(shí)還要采用不同的二值化方法比對(duì)圖像效果。對(duì)灰度圖分別用OTSU二值化分割、最大熵法分割和迭代法進(jìn)行閾值分割，得到的處理效果如圖6所示。 

圖  5  直方圖均衡化處理結(jié)果及其直方圖

圖  6  不同方法的閾值分割處理效果對(duì)比

對(duì)比3種二值化處理方法的效果圖，可以看出最大熵法缺陷與周圍對(duì)比更明顯，同時(shí)可以過(guò)濾其他干擾因素，更便于進(jìn)行特征提取，因此使用最大熵法進(jìn)行二值化更合適。 

2.2   特征提取

2.2.1   裂紋提取

圖像銳化是一種圖像處理技術(shù)，用于增強(qiáng)圖像中的邊緣和細(xì)節(jié)，使其更加清晰。圖像中的邊緣可以分為細(xì)線型、突變型和漸變型3種類型。為了突出這些邊緣，常用的圖像銳化算法包括Sobel算子、Canny算子和Roberts算子等。這些算法可以準(zhǔn)確地檢測(cè)出圖像中的邊緣，并能再次加回原圖像增強(qiáng)其細(xì)節(jié)，使得圖像更加生動(dòng)、明亮和具有立體感[16]。某圖像經(jīng)過(guò)3種方法處理前后的效果如圖7所示。3種方法中，Sobel算子處理結(jié)果的邊緣較粗、計(jì)算速度快；Canny算子邊緣最細(xì)、定位精度最高；Roberts算子受噪聲影響大，圖像分割后還是會(huì)存在一定的噪聲區(qū)域，故必須進(jìn)行二次去噪。文章采用一種基于連通域的動(dòng)態(tài)去噪方法，裂紋的連通域面積遠(yuǎn)大于噪聲的連通域面積，通過(guò)計(jì)算目標(biāo)裂紋區(qū)域和噪聲區(qū)域像素面積，并通過(guò)計(jì)算噪聲面積和裂紋面積的比值來(lái)定量地估計(jì)圖像中的噪聲和裂紋占比，這種比值計(jì)算的方法通常被稱為信噪比（SNR）分析，其可以幫助評(píng)估圖像質(zhì)量并優(yōu)化圖像處理的結(jié)果，以此確定是否濾除當(dāng)前的連通區(qū)域。 

圖  7  某圖像的3種方法銳化效果對(duì)比

針對(duì)焊縫中的裂紋，首先采用Canny邊緣檢測(cè)，然后進(jìn)行x和y方向的Sobel邊緣檢測(cè)得到圖像梯度，并沿著圖像梯度在經(jīng)過(guò)的像素點(diǎn)上計(jì)數(shù)，最后利用rectangle標(biāo)記矩形框，其提取結(jié)果如圖8所示?？梢园l(fā)現(xiàn)，結(jié)合Canny算子與Sobel算子的裂紋提取方法在確?？乖胄缘耐瑫r(shí)，增加了邊緣。該方法可以較好地對(duì)線性裂紋等缺陷進(jìn)行提取。通過(guò)對(duì)200個(gè)裂紋圖像樣本進(jìn)行測(cè)試，裂紋識(shí)別準(zhǔn)確率達(dá)97.5%，其中5個(gè)誤判別數(shù)據(jù)圖像本身紋理較為復(fù)雜。 

圖  8  裂紋提取結(jié)果示意

2.2.2   圓度提取

通過(guò)圓度提取可進(jìn)行氣孔檢測(cè)。筆者利用Hough變換檢測(cè)圖像中存在的圓，主要是利用Hough函數(shù)測(cè)直線的思路，即圓外一點(diǎn)不僅是平面內(nèi)3個(gè)點(diǎn)的圓錐面焦點(diǎn)，也是同時(shí)過(guò)此3個(gè)點(diǎn)的圓。利用Hough變換可以得到如圖9所示的提取結(jié)果，可以發(fā)現(xiàn)，此函數(shù)對(duì)于圓形缺陷的識(shí)別較準(zhǔn)確。通過(guò)對(duì)200個(gè)氣孔圖像樣本進(jìn)行測(cè)試，氣孔識(shí)別準(zhǔn)確率達(dá)94%，其中12個(gè)誤判別樣本圖像存在表面污染干擾。 

圖  9  利用Hough變換得到的氣孔提取結(jié)果示意

2.3   GUI軟件界面設(shè)計(jì)

缺陷圖像處理之后可以有效識(shí)別相應(yīng)缺陷，但為了實(shí)現(xiàn)工業(yè)生產(chǎn)過(guò)程的自動(dòng)化探傷，更加直觀地顯示缺陷，文章進(jìn)一步設(shè)計(jì)了GUI（圖形用戶界面）的系統(tǒng)軟件界面[17]。軟件界面分為圖像顯示區(qū)、面板控制區(qū)、結(jié)果輸出區(qū)。使用該軟件時(shí)，首先載入圖像，點(diǎn)擊獲取原始缺陷圖片，輸入需要檢測(cè)的文件并打開(kāi)；然后顯示缺陷，對(duì)目標(biāo)圖像進(jìn)行灰度化處理，再進(jìn)行圖像增強(qiáng)提高對(duì)比度，使用高斯濾波法平滑圖像，最終二值化圖像并進(jìn)行缺陷檢測(cè)，將處理后的檢測(cè)結(jié)果顯示在圖像顯示區(qū)域。針對(duì)以上測(cè)試圖片，系統(tǒng)識(shí)別界面及其試驗(yàn)結(jié)果如圖10所示。 

圖  10  GUI系統(tǒng)裂紋自主識(shí)別界面及試驗(yàn)結(jié)果

此次試驗(yàn)通過(guò)3個(gè)區(qū)域?qū)崿F(xiàn)對(duì)系統(tǒng)的控制，4張圖像分別對(duì)應(yīng)相應(yīng)步驟，結(jié)果輸出可直接完成缺陷自動(dòng)化識(shí)別及輸出。利用面板控制區(qū)，對(duì)系統(tǒng)進(jìn)行便捷式操作，通過(guò)獲取圖片、圖像增強(qiáng)、二值化、特征提取4個(gè)按鈕就能實(shí)現(xiàn)對(duì)圖像的處理；在圖像顯示區(qū)，對(duì)圖像處理并顯示，可以直觀地觀察到檢測(cè)過(guò)程中的圖像數(shù)據(jù)，便于進(jìn)行目視校核；在結(jié)果輸出區(qū)，以文字形式輸出檢測(cè)結(jié)果，能自主顯示識(shí)別缺陷。最后可以通過(guò)目視觀察，對(duì)系統(tǒng)識(shí)別的缺陷類型進(jìn)行比對(duì)，從而完成系統(tǒng)的校驗(yàn)和核對(duì)，以保證系統(tǒng)輸出結(jié)果的穩(wěn)定性及準(zhǔn)確性。 

3.   結(jié)論

提出了一種基于機(jī)器視覺(jué)的焊縫磁粉檢測(cè)圖像智能識(shí)別系統(tǒng)，該系統(tǒng)采用了一系列處理流程進(jìn)行缺陷的自主識(shí)別。首先，系統(tǒng)搭建了圖像采集系統(tǒng)，并采用畸變校正技術(shù)進(jìn)行圖像校正。接著對(duì)圖像進(jìn)行濾波、銳化、增強(qiáng)等預(yù)處理，結(jié)合二值化和特征提取，實(shí)現(xiàn)裂紋和氣孔等缺陷的自主識(shí)別。最后，系統(tǒng)設(shè)計(jì)了GUI界面進(jìn)行驗(yàn)證，確保算法的可行性和系統(tǒng)設(shè)計(jì)的合理性。該試驗(yàn)對(duì)于精確識(shí)別船用鋼焊縫缺陷類型、提高探傷自動(dòng)化效率、保證產(chǎn)品質(zhì)量等方面具有重要價(jià)值。

文章來(lái)源——材料與測(cè)試網(wǎng)