一、引言
隨著機(jī)器人技術(shù)的日益成熟和汽車產(chǎn)業(yè)的高速發(fā)展，越來越多的工業(yè)機(jī)器人投入到汽車生產(chǎn)之中。作為汽車生產(chǎn)重要組成部分的涂膠環(huán)節(jié)，由于其工作軌跡復(fù)雜、工作強(qiáng)度大以及運(yùn)動準(zhǔn)確性和平穩(wěn)性要求高的特點(diǎn)，正逐步完成從手工涂膠到機(jī)器人涂膠的轉(zhuǎn)變。近年來，隨著國內(nèi)工業(yè)生產(chǎn)自動化的不斷推廣和汽車行業(yè)競爭的日益加劇，機(jī)器人涂膠質(zhì)量的傳統(tǒng)檢測技術(shù)已無法滿足企業(yè)的實(shí)際生產(chǎn)要求，同時基于機(jī)器視覺技術(shù)的檢測系統(tǒng)正逐漸取代傳統(tǒng)的依賴于人類視覺能力的檢測方法，廣泛地應(yīng)用于現(xiàn)代工農(nóng)業(yè)生產(chǎn)中。因此，針對上述現(xiàn)狀，本文設(shè)計了基于機(jī)器視覺的機(jī)器人涂膠質(zhì)量在線檢測系統(tǒng)以提高汽車企業(yè)的生產(chǎn)效率和自動化水平。
圖1 機(jī)器人涂膠質(zhì)量檢測現(xiàn)場圖
二、系統(tǒng)介紹
涂膠質(zhì)量在線檢測系統(tǒng)主要由機(jī)器視覺硬件平臺和在線質(zhì)檢軟件兩部分構(gòu)成，其目標(biāo)任務(wù)是在線檢測汽車前蓋折邊膠的膠線截面直徑與膠線中心到車蓋邊緣的距離，圖1為機(jī)器人涂膠檢測現(xiàn)場。該系統(tǒng)在企業(yè)原有汽車前蓋機(jī)器人涂膠系統(tǒng)的基礎(chǔ)上，加裝工業(yè)相機(jī)、鏡頭和光源等視覺裝置，實(shí)時采集涂膠圖像送至視覺系統(tǒng)工控機(jī)進(jìn)行圖像處理，并結(jié)合在線檢測之前建立的涂膠質(zhì)量標(biāo)準(zhǔn)信息庫及涂膠機(jī)器人系統(tǒng)的相關(guān)數(shù)據(jù)，對涂膠質(zhì)量信息進(jìn)行分析，根據(jù)檢測結(jié)果判斷是否發(fā)出報警信號，同時將必要信息保存在本地數(shù)據(jù)庫中，方便進(jìn)行質(zhì)量追溯查詢，其系統(tǒng)框架如圖2所示。
視覺硬件平臺方面，由于相機(jī)鏡頭等固定在機(jī)器人末端，為了解決檢測過程中膠線被車蓋翹曲部分或膠槍頭擋住的問題，采用雙相機(jī)配置，并設(shè)計可拆卸、可調(diào)整的靈活安裝機(jī)構(gòu)，通過示教調(diào)整機(jī)器人的涂膠軌跡和姿態(tài)以避免與車蓋干涉，同時利用對比實(shí)驗(yàn)確定最優(yōu)的安裝姿態(tài)角和安裝方位。
圖2 涂膠質(zhì)量在線檢測系統(tǒng)框圖
涂膠質(zhì)量在線檢測軟件直接與用戶交互，接受用戶的命令和參數(shù)進(jìn)行檢測工作，并將涂膠質(zhì)量的檢測結(jié)果反饋給用戶，主要包括圖像采集與處理、機(jī)器人控制器通信、相機(jī)標(biāo)定操作、圖像分析、神經(jīng)網(wǎng)絡(luò)預(yù)測及數(shù)據(jù)庫操作等模塊。圖3為基于MS Visual Studio平臺開發(fā)的系統(tǒng)軟件主界面。
圖3 視覺檢測系統(tǒng)軟件主界面
三、檢測原理分析
3.1 相機(jī)離散采樣標(biāo)定
在分析圖像中被檢測物體的實(shí)際尺寸和位置時，需要通過相機(jī)標(biāo)定事先獲得像素距離與實(shí)際距離的比例關(guān)系，同時得到膠線與圖像邊界的交點(diǎn)坐標(biāo)以確定進(jìn)行圖像分析的區(qū)域范圍。為了實(shí)現(xiàn)涂膠質(zhì)量的實(shí)時檢測，方案中將相機(jī)鏡頭等固定安裝在機(jī)器人末端的膠槍上，其位置與姿態(tài)會沿涂膠軌跡時刻發(fā)生變化，導(dǎo)致涂膠位置的相機(jī)標(biāo)定結(jié)果也隨之改變，因而需要在實(shí)際在線檢測之前對涂膠軌跡上每一個圖像采集位置進(jìn)行相機(jī)標(biāo)定。同時因?yàn)槠嚽吧w曲面復(fù)雜，折邊膠線為空間三維物體，傳統(tǒng)的二維平面標(biāo)定無法滿足檢測精度的需要。為了提高相機(jī)標(biāo)定精度、簡化標(biāo)定流程，專門制作了尺寸已知的與膠體形狀大小基本相同的標(biāo)定物，將其固定在車蓋的標(biāo)準(zhǔn)涂膠位置上，控制機(jī)器人進(jìn)行不出膠的涂膠運(yùn)動，并通過相機(jī)周期采集標(biāo)定物圖像，經(jīng)處理分析得到標(biāo)定結(jié)果，同時記錄圖像采集時刻的機(jī)器人末端位姿，完成離散采樣標(biāo)定。
3.2 神經(jīng)網(wǎng)絡(luò)涂膠信息預(yù)測
由于相機(jī)離散采樣標(biāo)定無法給出涂膠軌跡上任意位置的標(biāo)定結(jié)果，因而在線檢測的程序?qū)崿F(xiàn)過程中會出現(xiàn)標(biāo)定結(jié)果匹配不準(zhǔn)確的現(xiàn)象。同時，大量實(shí)驗(yàn)表明，當(dāng)標(biāo)定物圖像對應(yīng)的機(jī)器人末端位置姿態(tài)非常接近時，其標(biāo)定結(jié)果和交點(diǎn)坐標(biāo)也十分相近。因此，在標(biāo)定位置的分布足夠密集時，可以通過擬合預(yù)測的方法得到整個涂膠軌跡的任意位置所對應(yīng)的標(biāo)定結(jié)果和交點(diǎn)坐標(biāo)的近似值。根據(jù)上述結(jié)論，本系統(tǒng)采用相機(jī)離散采樣標(biāo)定得到的標(biāo)定信息和機(jī)器人末端位姿作為神經(jīng)網(wǎng)絡(luò)的訓(xùn)練樣本，基于廣義回歸神經(jīng)網(wǎng)絡(luò)的擬合預(yù)測功能建立包含涂膠軌跡上任意位置所對應(yīng)的標(biāo)定信息近似值的涂膠質(zhì)量標(biāo)準(zhǔn)信息庫，為實(shí)際在線檢測時進(jìn)行對比分析提供必要信息。
3.3 系統(tǒng)工作流程
由前文所述，本系統(tǒng)的工作流程主要分為兩個階段：首先，對采集到的每一幅標(biāo)定物圖像進(jìn)行圖像處理和分析，得到其標(biāo)定結(jié)果及標(biāo)定物與圖像邊界的交點(diǎn)坐標(biāo)，然后以各標(biāo)定物圖像對應(yīng)的機(jī)器人末端位置姿態(tài)為輸入，以相應(yīng)的標(biāo)定結(jié)果和交點(diǎn)坐標(biāo)為期望輸出，進(jìn)行神經(jīng)網(wǎng)絡(luò)的樣本訓(xùn)練，此時訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)即為涂膠質(zhì)量標(biāo)準(zhǔn)信息庫；其次，實(shí)際在線檢測時，將當(dāng)前膠線圖像對應(yīng)的機(jī)器人末端位姿輸入到涂膠質(zhì)量標(biāo)準(zhǔn)信息庫中，根據(jù)輸出的標(biāo)定信息和交點(diǎn)坐標(biāo)就可以對該膠線圖像進(jìn)行分析檢測，最終得到涂膠質(zhì)量信息。圖4中a)和b)分別為上述兩個階段的工作流程。
圖4 系統(tǒng)工作流程圖
四、檢測算法實(shí)現(xiàn)
4.1 圖像處理算法
在建立涂膠質(zhì)量標(biāo)準(zhǔn)信息庫和進(jìn)行涂膠質(zhì)量在線檢測的過程中，需要對采集到的標(biāo)定物和膠線原始圖像進(jìn)行處理，去除干擾信息，突顯圖像的有效信息，以便于后續(xù)圖像分析的進(jìn)行。圖5為涂膠質(zhì)量檢測的圖像處理流程。
圖5 圖像處理流程圖
首先，由于圖像中標(biāo)定物或膠線都是從膠槍出膠口處開始向各個方向延伸，當(dāng)相機(jī)安裝位置固定后，出膠口在圖像中的坐標(biāo)為定值，且出膠口附近的光照條件較好，因此以膠槍出膠口為中心對原始圖像進(jìn)行裁剪；其次，工業(yè)現(xiàn)場環(huán)境復(fù)雜，圖像在采集和傳輸過程中常常會受到外界干擾而產(chǎn)生噪聲，影響圖像質(zhì)量和檢測精度，故根據(jù)噪聲隨機(jī)高頻的特性，選擇中值濾波器對圖像進(jìn)行濾波處理；由于膠線和標(biāo)定物均為黑色，而車蓋表面為金屬灰色，兩者在圖像中的灰度值差異較大，可以通過最大類間方差法將膠線和標(biāo)定物從車蓋背景中分割出來，以便于后續(xù)處理的進(jìn)行；圖像經(jīng)二值化分割處理后，在目標(biāo)區(qū)域內(nèi)可能會出現(xiàn)孔洞、邊緣凹凸等缺陷，需要通過閉合運(yùn)算與開啟運(yùn)算等形態(tài)學(xué)處理進(jìn)行修正；最后，由于膠線和標(biāo)定物的寬度和位置信息主要通過圖像邊緣體現(xiàn)，因此選用Roberst算子法對圖像進(jìn)行邊緣檢測。
4.2 圖像分析算法
在涂膠質(zhì)量標(biāo)準(zhǔn)信息庫的建立過程中，由于標(biāo)定物的實(shí)際截面直徑和固定位置已知，因此只需要分析出每幅標(biāo)定物圖像中標(biāo)定物直徑方向的像素距離與位置方向的像素距離，就可以得到該標(biāo)定物圖像對應(yīng)的標(biāo)定結(jié)果。標(biāo)定物直徑與位置信息檢測算法實(shí)現(xiàn)流程為：先確定標(biāo)定物與圖像邊界交點(diǎn)的準(zhǔn)確坐標(biāo)，然后以出膠口和交點(diǎn)的連線為中心，搜索圖像中待檢測區(qū)域的標(biāo)定物中心線，接著以得到的中心線為基準(zhǔn)，搜索線上指定位置處的標(biāo)定物邊緣點(diǎn)，對應(yīng)邊緣點(diǎn)間像素距離即為需要的標(biāo)定物直徑信息，同時在中心線的指定位置處搜索車蓋邊緣點(diǎn)，線上該點(diǎn)與對應(yīng)車蓋邊緣點(diǎn)間像素距離即為待求的標(biāo)定物位置信息。
涂膠質(zhì)量在線檢測時，膠線圖像的分析算法與標(biāo)定物直徑位置檢測算法大體相同，區(qū)別在于分析對象由標(biāo)定物的邊緣圖像轉(zhuǎn)變?yōu)槟z線的邊緣圖像，同時膠線與圖像邊界交點(diǎn)坐標(biāo)的近似值由涂膠質(zhì)量標(biāo)準(zhǔn)信息庫提供。在得到膠線直徑方向和位置方向的像素距離后，將其與涂膠質(zhì)量標(biāo)準(zhǔn)信息庫中的預(yù)測值進(jìn)行對比，通過相應(yīng)的比例關(guān)系計算出膠線的實(shí)際尺寸和位置信息：
式中，D(i)、d(j)分別為指定位置處膠線的截面直徑與膠線中心到車蓋邊緣的距離；Dia(i)、Dis(j) 分別為指定位置處膠線直徑和位置方向的像素距離；FD、Fd分別為圖像對應(yīng)涂膠位置處直徑和位置方向上的坐標(biāo)投影比例；Dstd、dstd分別為標(biāo)定物的截面直徑與其中心到車蓋邊緣的實(shí)際距離；D?ia、D?is分別為圖像對應(yīng)涂膠位置處的相機(jī)標(biāo)定結(jié)果預(yù)測值（像素距離）。
4.3 神經(jīng)網(wǎng)絡(luò)預(yù)測算法
廣義回歸神經(jīng)網(wǎng)絡(luò)是一種基于非線性回歸理論的前向型神經(jīng)網(wǎng)絡(luò)，其較BP神經(jīng)網(wǎng)絡(luò)具有更好的函數(shù)逼近能力和穩(wěn)定性，結(jié)構(gòu)如圖6所示。經(jīng)實(shí)驗(yàn)分析可知，由于標(biāo)定物圖像的檢測區(qū)域較小，標(biāo)定物的尺寸和位置精度較高，同時相機(jī)離散采樣的密度較大，因此本文選取每幅標(biāo)定物圖像經(jīng)處理分析后得到的4個變量（xint, yint, Dia, Dis）作為訓(xùn)練樣本的期望輸出，其中xint, yint為圖像邊界交點(diǎn)坐標(biāo)，Dia, Dis分別代表標(biāo)定物的直徑信息和位置信息；同時將與每幅標(biāo)定物圖像一一映射的6個機(jī)器人末端位置姿態(tài)變量（x, y, z, Rx, Ry, Rz）作為訓(xùn)練樣本的輸入，進(jìn)行神經(jīng)網(wǎng)絡(luò)的訓(xùn)練學(xué)習(xí)，最終得到涂膠質(zhì)量標(biāo)準(zhǔn)信息庫。而實(shí)際在線檢測時，只需將當(dāng)前膠線圖像對應(yīng)的機(jī)器人末端位姿輸入涂膠質(zhì)量標(biāo)準(zhǔn)信息庫中，就可以得到相應(yīng)的相機(jī)標(biāo)定結(jié)果及交點(diǎn)坐標(biāo)的預(yù)測值，用于后續(xù)的涂膠質(zhì)量分析。
圖6 廣義回歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖
五、系統(tǒng)在線運(yùn)行實(shí)驗(yàn)
在完成涂膠在線質(zhì)檢系統(tǒng)軟硬件平臺搭建，并進(jìn)行了相機(jī)離散采樣標(biāo)定和涂膠質(zhì)量標(biāo)準(zhǔn)信息庫的建立之后，本文在機(jī)器人涂膠現(xiàn)場對視覺質(zhì)檢系統(tǒng)進(jìn)行了在線運(yùn)行實(shí)驗(yàn)，最終隨機(jī)抽取20個在線質(zhì)檢樣本。為了得到本系統(tǒng)檢測性能的定量檢驗(yàn)結(jié)果，采用人工檢測方式對在線質(zhì)檢樣本中各檢測位置的膠線直徑和位置尺寸進(jìn)行手動測量，并將其作為準(zhǔn)確尺寸對質(zhì)檢系統(tǒng)的檢測結(jié)果進(jìn)行分析。
綜合分析人工檢測與自動檢測所得數(shù)據(jù)可知，涂膠質(zhì)量在線檢測系統(tǒng)在線運(yùn)行時直徑尺寸檢測結(jié)果的平均絕對誤差為0.3160mm，標(biāo)準(zhǔn)誤差為0.3411mm，滿足0.5mm的直徑檢測精度要求；位置距離檢測結(jié)果的平均絕對誤差為0.6242mm，標(biāo)準(zhǔn)誤差為0.6675mm，滿足1.0mm的位置檢測精度要求；同時在線檢測時間間隔為150ms，滿足200ms的檢測周期要求。
六、總結(jié)
本文開發(fā)了汽車前蓋機(jī)器人涂膠質(zhì)量在線檢測系統(tǒng)，該系統(tǒng)基于機(jī)器視覺技術(shù)和神經(jīng)網(wǎng)絡(luò)技術(shù)，對采集到的汽車前蓋機(jī)器人涂膠圖像進(jìn)行處理和分析，得出折邊膠膠線的直徑和位置信息，實(shí)現(xiàn)了其質(zhì)量的在線檢測?；跈C(jī)器視覺的自動檢測技術(shù)是我院今后的研究重點(diǎn)和發(fā)展方向，同時結(jié)合公司在人工智能領(lǐng)域的研究成果，我院將為更多的企業(yè)或行業(yè)提供更加智能化的技術(shù)解決方案。
