基于FPGA技術(shù)的手勢識別控制型多功能機械臂系統(tǒng)設(shè)計方案

一、設(shè)計概述

隨著信息技術(shù)的快速發(fā)展，人機交互技術(shù)逐漸由傳統(tǒng)的鍵盤、鼠標(biāo)等基于圖形用戶界面的方式，轉(zhuǎn)變?yōu)橐阅M和類似人類感知傳輸?shù)男畔㈩愋?。手勢識別因其自然、直接、有效的交互特點，越來越受到研究人員的關(guān)注。傳統(tǒng)的手勢識別依賴于配置有傳感器的手套，成本高且操作不便，不具有推廣性。而基于機器視覺的手勢識別技術(shù)，突破硬件局限，從模式識別算法層面革新人機交互方式，更適應(yīng)未來人機交互的發(fā)展趨勢。

機械臂作為現(xiàn)代工業(yè)領(lǐng)域自動化智能加工中最常見的執(zhí)行終端，通過各個關(guān)節(jié)的協(xié)調(diào)運動與機械末端的配合，可進行多自由度模擬仿真。通過對舵機進行控制設(shè)計，使機械臂能夠完成抓取分揀、連續(xù)動作，從而具有比人手更好的動作組合靈活性和指令完成準(zhǔn)確性。

本系統(tǒng)基于機器視覺，聚焦手勢識別，利用攝像頭獲取單目圖像信息，實現(xiàn)手勢分割、手勢建模、手勢形狀特征提取，對多種不同手勢圖像進行識別。以舵機控制的機械臂模塊作為響應(yīng)終端，借助手勢變化來控制機械臂執(zhí)行多種功能。該系統(tǒng)不僅延長了人手的作用范圍，還在工業(yè)自動化、物流行業(yè)等領(lǐng)域有著極好的應(yīng)用前景。

二、系統(tǒng)組成及功能說明

本系統(tǒng)以Xilinx ZYNQ SoC作為主控制芯片，分為處理器模塊、攝像頭模塊、顯示器模塊、舵機驅(qū)動模塊、通訊傳輸模塊。

1. 處理器模塊

本系統(tǒng)采用基于ZYNQ-7020芯片的PYNQ-Z2開發(fā)板進行系統(tǒng)開發(fā)。ZYNQ分為PS（Processing System）和PL（Programmable Logic）兩部分。在PS上運行Linux操作系統(tǒng)，在Linux操作系統(tǒng)上運行Python，通過調(diào)用PYNQ中的庫Overlay，對連接到PS端的接口進行解析，進而控制FPGA邏輯資源，加速系統(tǒng)數(shù)據(jù)處理。

對于本系統(tǒng)所設(shè)計的基于機器視覺的手勢識別算法和“井字游戲”人機大戰(zhàn)算法，直接利用硬件語言進行編寫在邏輯上十分復(fù)雜，故采用Python進行編程實現(xiàn)，利用FPGA對圖像處理部分進行硬件加速，不僅提高了圖像處理速度，還更好地擴展了圖像應(yīng)用。

2. 攝像頭模塊

本系統(tǒng)采用奧尼C11款的高清攝像頭對手勢進行畫面捕捉，通過USB完成圖像輸入。相比于傳統(tǒng)的傳感器手套對手勢姿態(tài)的采集，攝像頭減輕了硬件端的負擔(dān)，使得整個系統(tǒng)可推廣性更好。

3. 顯示器模塊

采用顯示屏作為圖像輸出端，展示手勢識別圖像處理過程及結(jié)果，不僅有利于過程中的算法調(diào)試與驗證，并且具有更好的視覺效果。

4. 機械臂（舵機）模塊

本系統(tǒng)使用的機械臂是Learm公司開發(fā)的一款六自由度機械臂，能通過上位機對其進行動作設(shè)計，通過PWM控制舵機運轉(zhuǎn)，從而完成抓取和連續(xù)復(fù)雜動作兩種不同的模式功能。舵機（機械臂）模塊與處理器的模塊采用UART串行通信，采用特定的通信協(xié)議進行指令交互。

5. 通訊傳輸模塊

該模塊用于處理器模塊與其他模塊之間的數(shù)據(jù)傳輸，確保系統(tǒng)的各個部分能夠協(xié)同工作。

三、手勢識別

本系統(tǒng)可以對常用的八種手勢進行識別處理，分別為“0”、“1”、“2”、“3”、“4”、“5”、“Best of luck”、“ok”。啟動系統(tǒng)后，在攝像頭端擺出相應(yīng)手勢，即完成手勢輸入，顯示器會顯示出對應(yīng)的識別結(jié)果。顯示器畫面有矩形框定位識別區(qū)域，在該矩形框中會有多邊形框出手部輪廓，右上方會顯示識別結(jié)果。當(dāng)識別區(qū)域沒有放入手進行識別時，顯示器畫面靜止。

機械臂內(nèi)部封裝有存儲“動作組”的部件，用來存儲動作指令。用戶如果要進行動作設(shè)計，在機械臂通電的情況下，通過USB通信與電腦端上位機進行連接，在上位機中設(shè)置傳輸給六個舵機的PWM值，形成一個包含這個動作指令的“動作組”，下載進存儲部件以便后續(xù)調(diào)用。

四、詳細主控芯片型號及其作用

1. Xilinx ZYNQ-7020

• 型號：Xilinx ZYNQ-7020

• 作用：作為主控制芯片，ZYNQ-7020芯片將處理器系統(tǒng)（PS）和可編程邏輯（PL）結(jié)合在一起，形成一個高度集成的系統(tǒng)。PS部分運行Linux操作系統(tǒng)，支持Python編程，便于實現(xiàn)復(fù)雜的手勢識別算法和人機交互邏輯。PL部分則利用FPGA進行硬件加速，提高圖像處理速度。這種架構(gòu)使得系統(tǒng)既具有強大的處理能力，又具備高度的靈活性。

2. PAJ7620U2（備選方案）

• 型號：PAJ7620U2

• 作用：PAJ7620U2是原相科技（PixArt）公司推出的一款光學(xué)數(shù)組式傳感器，內(nèi)置光源和環(huán)境光抑制濾波器集成的LED，鏡頭和手勢感測器在一個小的立方體模組內(nèi)，能在黑暗或低光環(huán)境下工作。該傳感器內(nèi)置手勢識別功能，支持9個手勢類型和輸出的手勢中斷結(jié)果，并且內(nèi)置接近檢測功能，可用于感測物體接近或離開。PAJ7620U2可以作為手勢識別的備選方案，通過I2C接口與主控制器進行通信，實現(xiàn)手勢識別功能。

五、工作流程

1. 圖像采集

   通過攝像頭模塊捕捉手勢圖像信息。

2. 圖像預(yù)處理

   圖像預(yù)處理由四個主要步驟組成：定義識別區(qū)域、顏色空間轉(zhuǎn)換、膨脹處理、高斯濾波。

• 定義識別區(qū)域：主要用來減小識別區(qū)域面積，從而提高識別效率。

• 顏色空間轉(zhuǎn)換：將攝像頭捕捉到的RGB顏色空間下的圖像信息轉(zhuǎn)化為HSV顏色空間下的圖像信息，便于后續(xù)對背景和手部進行顏色分割。

• 膨脹處理：使得識別區(qū)域高亮區(qū)域增長，消除手部內(nèi)的噪聲點。

• 高斯濾波：通過加權(quán)求和的方式，消除圖像內(nèi)的高斯噪聲點。

3. 手勢建模與特征提取

   利用道格拉斯-普克（Douglas-Pucker）算法，將手部輪廓擬合為多邊形曲線，同時計算面積，以得到輪廓內(nèi)手部面積最大的手部輪廓。在此基礎(chǔ)上，分別計算出輪廓總面積（areacnt）、輪廓中手的面積（areahull）、以及手的面積占輪廓總面積的百分比（arearatio）。與此同時，得到最大輪廓面積中的凸缺陷（即凹陷）數(shù)（defects），并通過計算凸缺陷中起始點、終點、離起始點終點連線最遠處的點構(gòu)成的三角形的高（d）和頂角（angle）值，來去除因噪聲而得到的凸缺陷點，得到消除噪聲點后的凸缺陷數(shù)（l）。

4. 手勢識別

   根據(jù)手勢分析后得到的模型參量，通過手勢識別流程圖，輸出“0”、“1”、“2”、“3”、“4”、“5”、“ok”、“best of luck”八種手勢識別結(jié)果。

5. 機械臂響應(yīng)

   處理器內(nèi)部通過不同的邏輯運算，將對應(yīng)的動作指令通過相應(yīng)的PWM信號輸出給各個舵機，驅(qū)動六自由度機械臂完成要求動作，從而實現(xiàn)對應(yīng)的組合功能。

六、應(yīng)用場景與前景

1. 工業(yè)自動化

   本系統(tǒng)可應(yīng)用于操控大型機械進行物體分揀的工業(yè)自動化領(lǐng)域，通過手勢識別控制機械臂，實現(xiàn)自動化生產(chǎn)線的智能控制。

2. 物流行業(yè)

   在物流行業(yè)中，本系統(tǒng)可應(yīng)用于貨物的分揀、搬運等環(huán)節(jié)，提高物流效率。

3. 娛樂領(lǐng)域

   本系統(tǒng)可用于開發(fā)AR游戲、虛擬現(xiàn)實游戲等娛樂應(yīng)用，通過手勢識別實現(xiàn)更加自然、直觀的游戲交互體驗。

4. 醫(yī)療領(lǐng)域

   在醫(yī)療領(lǐng)域，本系統(tǒng)可用于手術(shù)輔助、康復(fù)訓(xùn)練等場景，通過手勢識別控制醫(yī)療設(shè)備或康復(fù)器械，提高醫(yī)療效率和準(zhǔn)確性。

5. 教育領(lǐng)域

   在教育領(lǐng)域，本系統(tǒng)可用于開發(fā)互動教學(xué)應(yīng)用，通過手勢識別實現(xiàn)更加生動、有趣的教學(xué)方式。

6. 智能家居

   在智能家居領(lǐng)域，本系統(tǒng)可用于控制家電設(shè)備、智能窗簾等家居產(chǎn)品，通過手勢識別實現(xiàn)智能家居的便捷控制。

七、結(jié)論

基于FPGA技術(shù)的手勢識別控制型多功能機械臂系統(tǒng)，通過結(jié)合機器視覺和FPGA硬件加速技術(shù)，實現(xiàn)了高效、準(zhǔn)確的手勢識別功能。該系統(tǒng)具有廣泛的應(yīng)用前景，可應(yīng)用于工業(yè)自動化、物流行業(yè)、娛樂領(lǐng)域、醫(yī)療領(lǐng)域、教育領(lǐng)域和智能家居等多個領(lǐng)域。未來，隨著人工智能和物聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，該系統(tǒng)將具有更加廣闊的應(yīng)用空間和發(fā)展?jié)摿Α?/span>