Profile - TW032

TW032

智慧型家電控制系統

Project Paper - view as Preliminary(2010/07/21), Final(2010/11/01), Draft, Latest

1. 設計介紹 (Preliminary Paper)

        近來數位化家庭技術已運用在多數的家庭中，但是目前能夠整合之設備有限，且使用方法並不友善，目前大多數的系統利用手機或是觸控面板做為控制介面。若未來能有一套系統利用最直觀的方式控制家電，則可算是人機介面的一大進展。人與機器最直觀的溝通方式無非是以人體動作做為溝通，如美國知名電影『關鍵報告』中男主角湯姆克魯斯使用科技手套來控制多媒體設備，利用各種相當自然且直覺的手勢來操控機器並獲得想要的資訊。以目前科技來說，電影已不再是天馬行空的想法，如此的操作介面是有可能實現的。

本次比賽作品設計構想以新穎家電操控做為出發點，發展新的人機互動介面為目標。此系統可取代現今之家電遙控器，如此不但可減少尋找遙控器的時間，並且可以更隨心所欲、更直覺地操作各種家電。其應用領域是建立於一般家庭，擁有各種電子、電器產品的環境中，而其使用對象為一般之家庭用戶。經由客製化、人性化的設計，使家中電器設備呈現出房子是具有「想法」的變化，而我們的設計將賦予房屋「智慧」的概念。本系統也強調擴充和移植性的特點，若能夠多增加一些生醫的感測設備和控制手勢，將可移植至各大醫院或是獨居老人的居家照顧環境中，提供需要隨時追蹤醫療資訊的病人或是獨居老人。

(Revision: 4 / 2010-09-13 14:13:32)

2. 功能描述 (Final Project Paper)

本作品以數位家庭控制為出發點，需要影像輸入做為手勢控制判斷之來源，控制手勢藉由影像的方式擷取並做處理、辨識。數位家庭的控制系統，目的為控制家電(如電視、冷氣和燈光等…)和門鎖警報裝置，利用影像感測元件擷取影像作辨識，並利用手勢影像資料庫，即時辨識比對所輸入的手勢特徵(Hand Feature)，透過辨識比對判斷出應發出何種訊號給電器設備達成控制功能。初步所設定的控制項目包含電視及多媒體的控制。

圖1: Terasic DE2-70開發板

 

 

科技產品一再地創新，雖為人類帶來了便利，但也常常把簡單的家電用品給複雜化。例如電視機遙控器，較常用的按鈕莫過於轉台與調整音量，而我們希望研發一套系統，將常用的功能利用手勢控制來達成。舉例來說電視機，我們只要利用手勢比”1”，電視機即會切換到第一個頻道，利用手指的左右擺動控制聲音的大小，甚至能轉換控制模式，可以控制空調、燈光、門禁系統等等…。我們使用DE2-70為主要的發展平台，利用DE2-70上的Switch切換我們所要控制的電器，並搭配D5M攝影機做為影像輸入來源。

圖2: TRDB-D5M Camera

圖3: TRDB-LTM Touch Screen

(Revision: 3 / 2010-09-13 16:02:58)

3. 效能參數 (Final Project Paper)

我們使用DE2-70這塊開發板開發此系統，硬體資源使用的情況如表1所示。

 

Device	Resources Used
Logic Elements	8,207(12%)
Combinational functions	5,808(8%)
Dedicated Logic Registers	5,691(8%)
Total Registers	5,902
Total Pins	536(82%)
Virtual Pins	0
Memory Bits	575,800(50%)
Embedded Multiplier 9-bit Elements	4(1%)
Phase Lock Loops	1(25%)

表1: 硬體資源使用率

(Draft / 2010-09-13 16:03:42)

4. 設計架構 (Preliminary Paper)

圖4: 系統架構圖

主要系統架構如圖4，主要的元件為記憶體、UART、LCD、Camera。在SOPC裡面，各個主要元件都有一個控制器(Controller)，NIOS II與各個控制器透過Avalon Bus與其他元件做溝通。Camera Controller主要負責從D5M抓取影像資訊，並將影像儲存至SDRAM。LCD Controller負責從SDRAM抓取影像資訊並顯示到LTM上。UART主要在負責傳送控制訊號。PIO主要是接收Switch的資訊，並設定目前的控制模式，決定要送控制訊號給那一個電器。

 

圖5: 系統執行流程圖

整體軟體流程如圖5。影像經由D5M輸入，經過去除背景(Background Subtraction)的動作後，只留下有在動作的影像範圍，再經過膚色偵測(Skin Color Detection)可以得到人體動作範圍。經由人體動作範圍影像擷取出手部動作(Hand Extraction)，並對手部做追蹤、辨識的動作。經由手勢資料庫(Hand Gesture Database)與訊號資料庫(Signal Database)的協助，可以判斷控制手勢與發送控制訊號。

(Revision: 5 / 2010-09-13 16:10:51)

5. 設計方法 (Final Project Paper)

 

                              圖6: SOPC元件

我們所使用到的SOPC元件如圖6所示，主要的幾個元件包括有SDRAM Controller、Flash Controller、LTM Controller、D5M Controller等。記憶體位址(Memory Map)分配圖如圖7所示。

 

                          圖7: 記憶體位址分配圖

 

我們實作出LCD Controller(LTM Controller)、Camera Controller(D5M Controller)，此兩個控制器的架構如圖8所示，主要架構可分為3個部份：匯流排溝通部份(Bus Communication)、裝置溝通部份(Device Communication)、暫存記憶體部份(FIFO)。

 

                    圖8: LCD/Camera Controller架構圖

 

以LCD Controller來看，匯流排溝通部份為圖8所示之Avalon Slave、Avalon Master。Avalon Master主要的功能為將匯流排(Bus)上讀出的資料寫至暫存記憶體(FIFO)，Avalon Slave主要提供軟體做內部暫存器(Register)的讀寫。裝置溝通部份為LCD Timing Generator，因為TRDB-LTM有其規定之時序(Timing)，所以其主要之功能為產生TRDB-LTM所需要之時序，並從暫存記憶體讀取資料顯示在LCD上。

 

以D5M Controller來看。裝置溝通部份為I2C CCD Config、CCD Capture、RAW TO RGB。I2C CCD Config主要功能為設定影像感測元件(Image Sensor)上的暫存器，影像大小、影像亮度都由此單元設定。CCD Capture主要功能為接收TRDB-D5M所送來的時序，並將影像資料取出。影像感測元件所取得的影像為拜耳圖樣(Bayer Pattern)，所以需要RAW TO RGB此單元將拜耳圖樣轉換為RGB，轉換後的資料會存入暫存記憶體。匯流排溝通部份一樣為Avalon Slave、Avalon Master，但此兩個單元與LCD Controller的功能不完全相同。Camera Controller的Avalon Master主要是從暫存記憶體讀取資料並透過Avalon Bus寫入到記憶體中，與LCD Controller剛好相反。Avalon Slave主要是提供軟體讀寫內部暫存器用。

有了D5M Controller與LTM Controller後，完成了我們預想中的SOPC。接著我們需要考慮手勢辨識的應用那些工作應該交由主機端處理，而那些動作應該是在智慧型攝影系統節點處理。我們所使用的演算法流程大致如圖9所示。

影像輸入經由膚色偵測(Skin Color Detection)取得ROI(Region Of Interest)，經由型態學中的Opening將影像中的雜訊去除。接著經由輪廓追蹤(Contour Following)取得人體與手部輪廓。最後我們取得輪廓經由指尖特徵點偵測利用手部輪廓影像取得指尖特徵，以走邊緣的方式取對手部輪廓上的點做指尖偵測，分別從兩個不同方向沿著邊緣走固定數量的點，最後會得到兩個終點和一個起始點，三點可求出兩條線，兩條線可形成一個夾角。利用兩線段的向量求出此一夾角的cos θ值：

 

                     

利用定義指尖的角度範圍，可以找出符合我們所要特徵點，如圖10所示。

                         圖9: 軟體工作分配

 

                           圖10: 軟體執行畫面

找出我們要的指尖特徵點後，我們可以利用這些特徵點定義系統所需的手勢以及相對應的訊號發送。將此系統整合至家電產品上的控制，就可以隨心所欲利用手勢控制家電產品。甚至也可以手勢辨識作為出發點，進一步發展人物動作分析系統。

 

 

 

(Revision: 3 / 2010-09-14 15:17:13)

6. 設計特點 (Preliminary Paper)

此次比賽作品系統特色為實現數位家庭的概念。推廣多年的數位家庭技術，至今發展還是很緩慢，而家電操控人性化也是數位家庭技術中的一環。本系統提出了手勢控制家電的概念，將使家中電器設備操控更人性化、更能隨心所欲。

 

我們所使用的開發板是DE2-70平台，其特色為IO port很多樣也很齊全，如USB、GPIO、VGA、Audio和Video等等，所以在系統開發的運用性算是很高的，所以利用此特點可將我們所要設計的系統利用模組化的方式呈現，這樣的設計特色就是系統移植能力高，跟著運用環境的不同只需要多加幾個感測器(Sensor)和手勢的定義，即可發揮系統的整合性和便利性，達到與環境融合一體的智慧型控制系統。例如在辦公室中，我們可加入溫度感應裝置在DE2-70中，利用溫度的變化來發出訊號自動控制冷氣的溫度調節，而不再需要花時間去找遙控器來調整冷氣。在醫院中，可以加入多個生醫感應裝置(如:脈搏感測裝置、血壓量測器等等…)，可以同時擷取病人的生理資訊，當有任何可能危險發生可以馬上送出訊號通知醫生得到協助，行動不便的病人可利用此系統來控制燈光和電視，不再因行動不便而困擾，這也算是一舉兩得整合性相當高的智慧型系統。

(Revision: 5 / 2010-09-13 16:12:27)

7. 總結 (Final Project Paper)

             我們這次比賽的作品是以手部姿勢搭配ALTERA DE2-70的平台，應用在智慧型家電控制系統，在手勢控制這部分是最近相當熱門的學問，從一開始要配戴手套或特別標示特徵點，到現在我們所實現更便利的手部辨識演算法，讓使用者不需特別配戴任何東西直接就可以自由操作，達到最終更強健的人機互動系統。

       未來計畫將此系統延伸的部分:

•  擷取更多有用的手部特徵點
• 移植至更多更有用的系統環境中
•  加入一些音樂特效幫助使用者操作
•  可加入更多TRDB-D5M來作平行處理幫助辨識效率和準確率

          這此比賽算是我們第一次自己獨立設計一套系統，而我們所用的ALTERA DE2-70周邊的I/O Port算是很完整，搭配Nios II的設計硬體和軟體完美的組合，提供我們最完善的設計環境，在這部分不管是網路、書刊還是論壇都有最充足的範例和問題解決，這些都是幫助我們能完成本次比賽最大的關鍵。友晶科技和ALTERA給我們這次機會使我們能夠把夢想轉變成現實然後實現。我們相信本次比賽所做出來的系統以後一定能夠造福社會大眾，使人類邁進下一個人機互動介面的世代。

(Draft / 2010-09-15 14:31:07)