Profile - TW054

TW054

互動健康電視

Project Paper - view as Preliminary(2010/07/21), Final(2010/11/01), Draft, Latest

1. 設計介紹 (Preliminary Paper)

 

本作品使用Altera 的DE2-70 SOPC發展平台，並且使用友晶科技所提供的TRDB-D5M的攝影鏡頭和DVD播放器做為硬體裝置。在Altera的QuartursII開發軟體底下，進行SOPC嵌入式雛型系統之軟硬體共同設計。

電視已成為人類社會中，重要的資訊來源與娛樂生活之一，可是就在長時間的收看期間，會因為長期坐姿不良或缺少的必要的運動量，而對身體帶來意想不到的危機。本創作主要在改善人類日常生活中，因長時間的觀看電視而縮減運動時間，甚至因長期坐姿不良而導致身體累積了看不見的疾病，像是孩童的近視、成人的過度肥胖、老人的乾眼症等等。

我們運用不同的影像處理技術，如動態物件分離將人與背景分開，用細線化取得人體邊緣，並判別人體輪廓的邊界數，對輪廓內部進行填補動作，最後再進行侵蝕取得類似於人體的火柴棒人，進而判斷端點和端點歸類，就每歸類端點辨識肢體及分析其運動曲線。本作品運用這些理論，在電視的收視者便可依據其是否有運動做為運動量的識別，並搭配收縮螢幕提醒機制，提醒其適時、適量的運動，與提醒收視者不可距離電視過近，如果距離電視過近，則會適時收縮螢幕，讓大眾在觀看電視時也可獲取適當的運動量與距離，不致於體力衰退與近視，而達到健康照護的目的。

 

(Revision: 5 / 2010-09-16 20:27:26)

2. 功能描述 (Final Project Paper)

 

本作品有模擬一般電視的設定功能，像是系統模式中可對時間與日期進行設定，並且還額外增加了一般模式中的事務提醒的控制選項，等到使用者有需要使用此功能時，再去選擇提醒事項與時間設定，並且與予啟動。當時間一到，電視即會彈跳出視窗以提醒收視者。本作品還有最重要的健康模式，提供運動提醒。各模式概述如下:

系統設定：

可設定系統的日期、時間、聲音、語言等。

一般模式：

在此模式下，收視者可以預先設定提醒事務以及提醒的時間。於後系統會將所設定的事務內容，在時間到達時以字幕(或聲音)的方式於螢幕上顯現(其設定示意圖，如圖2.1)。

圖2.1 一般模式設定示意圖

 

健康模式：

A.小孩健康模式：

在小孩模式下，若小孩離電視距離越來越近時，則螢幕會依據距離數據來收縮螢幕。如果小孩不適時的遠離，而持續靠近的話，螢幕則會完全遮蔽；如果小孩適時的遠離，則螢幕會依據數據來顯示電視，距離適當的話則正常顯示(其設定示意圖，如圖2.2)。

B.成人健康模式：

在此成人模式下，系統經一段時間監測收視者肢體動作，若收視者在這一段時間內缺少活動，螢幕便會慢慢遮蔽，以促使收視者互動，進行眼睛、或頭、或手、或腳或腰部等部位動作之後，螢幕才能恢復正常顯示，達到運動之效果(其設定示意圖，如圖2.3)。

 

圖2.2 小孩模式設定示意圖

圖2.3 成人模式設定示意圖

 

(Revision: 5 / 2010-09-16 19:50:29)

3. 效能參數 (Final Project Paper)

 

本作品藉由開發軟體Quartus II所編譯出的系統使用資源，圖3.1是使用影像處理的系統模組於電腦上經編譯後的資訊，圖3.2是使用模擬電視、遮罩處理及介面處理的系統模組於電腦上經編譯後的資訊。例如Total logic elements是系統所使用的邏輯元件的數量，可用的總邏輯元件數為68,416個而圖3.1的CCD Board只用了2,997個，僅佔了全部的4%而已。

 

圖3.1 CCD_Board

 

圖3.2 Video_Board

(Revision: 3 / 2010-09-16 19:53:11)

4. 設計架構 (Preliminary Paper)

 

本作品使用Altera 的DE2-70 SOPC發展平台，分成影像辨識(Board A)與視頻影像輸出(Board B)兩大系統。在Altera的QuartursII開發軟體底下，進行SOPC嵌入式雛型系統之軟硬體共同設計。本作品之平台架構如圖4.1所示。

 

圖4.1 互動健康電視平台架構圖

 

圖4.2 互動健康電視系統架構示意圖

 

如圖4.2 CCD_Board的黃色區塊所示，本作品先透過CCD取得現場影像資料，取得RAW格式的原始影像資料後，再將影像資料轉換為RGB形態，分別送給SDRAM與距離監測模組。欲進入SDRAM的資料，將使用具有4-PORT的Sdram Controller來做資料的讀寫動作。

如藍色區塊的距離監測模組，取得即時的影像資料後，會先將RGB色彩形態轉換為HSV色彩形態，然後於HSV色彩形態中分離出膚色區域，並且統計膚色面積資訊，將此資訊送至Video_Board以做為視屏訊號罩遮的控制訊號。

如紅色區塊，本作品在執行動態物件處理時，則會使用4-PORT Sdram Controller讀出SDRAM裡面的資料；存入SDRAM內的是連續兩張Frame的影像資料，利用這些資料進行動態物件偵測以抽取出動態物件，取得動態物件的影像資料，將此資料送至Video_Board做為肢體運動識別的重要特徵資訊。且在NiosII核心中進行肢體運動曲線的分析。

如圖4.2 Video_Board 所示，在Video Player的橘色區塊，本作品是利用市售的一般DVD播放器來摸擬電視，藉由TV Decoder來解析播放器所送出的資訊以取得視屏影像。

白色區塊的NIOS_II核心內含肢體運動曲線分析功能與收視者介面功能的設定。肢體運動曲線分析會解析出收視者是否已有足夠的運動量，以判別是否對視屏影像進行罩遮。收視者介面可以設定是否對一般模式的內容設定與健康模式進行啟用。

如綠色區塊所示，使用簡易的MUX來選擇視屏影像與收視者介面的輸出，使同一畫面下的視屏影像能與使用的收視者介面共存。最後藉由VGA Controller將結合後的影像資料以有效率且完整的對 VGA Monitor輸出。

 

 

 

(Revision: 6 / 2010-09-16 19:55:27)

5. 設計方法 (Final Project Paper)

 

本作品影像處理動作，有膚色計算、動態物件萃取、二值化、輪廓擷取、影像細線化、端點判斷與分類、運動頻度分析，詳細說明如下：

膚色計算：

本作品先將其影像資料轉成RGB型態後，再轉成HSV格式，透過HSV格式來識別膚色區塊，並且計算其膚色面積。

 

動態物件萃取與二值化：

本作品先將其影像資料轉成RGB型態後暫存至SDRAM記憶體中，並分成兩個區塊分別做前、後兩張影像資料的儲存，接著再將兩張影像資料同時取出後，便開始在FPGA做影像辨識。

在取出前後兩張影像資料後。在未移動的部份，其影像值較為相近，便將其視為不必要的影像資料、或是背景，將其值定義為黑色；在物件移動較大的部份，其影像值相差較大，便將其視為動態即為有用的影像資料，並將其值定義為白色，藉此達到影像二值化。

 

輪廓擷取：

為了在後續可以得到正確的端點，我們必須把僅有輪廓的二值化影像進行掃瞄。

 

影像細線化：

經過影像掃瞄後，由左右兩邊輪替的推擠，所以產生的細線會位於目標物的中心點。然後，再將部份斷開的接線先判別是否相近，若相近則將其連接起來、若為否，則不予以理會。經由上述動作，當掃完整張圖後便可獲得一火柴棒人的形狀。

 

端點判斷與分類：

當影像侵蝕到只剩下線條狀的火柴棒人時，其所謂的端點便是在一3x3的九宮格遮罩中，若中心點為白點，而鄰近的8格中只有一點同樣為白點，則該中心點便是端點、需判斷其端點方向；相對的，鄰近的8格中若有2格以上同為白點，則該點便不是端點，不需判別。

 

運動頻度分析：

A.     手部運動：

要求左右手同時上下擺動，第一碼為動作類別，動作將其歸類為’7’，收視者的左手為’2’、右手為’3’，當手部置於上方所要求的位置時，其端點定為’3’、水平則定為’2’、垂下則定為’1’、持續擺動則定為’4’。例如，判斷收視者右手舉至上方時，則所得之編碼為”723”；收視者左手持水平時，則所得之編碼為”732。(如圖5.1所示)。

 

圖5.1 手部運動曲線示意圖

 

B.     腰部運動

 

人體面向電視雙手水平張開，並依連續彎腰動作一650、彎腰動作二651及彎腰動作三652等彎腰時，智慧CCD模組萃取輸出彎腰運動曲線653，可以揭示人體彎腰運動的頻度與速度。(如圖5.2所示)

圖5.2腰部運動曲線示意圖

 

而本作品在距離監測與肢體運動曲線識別的相關流程，詳細說明如下：

 

A.         肢體運動曲線辨識：

如圖5.3，從影像記憶體440取出前後複數個，CCD圖框影像501，經圖框內動態物件輪廓萃取502運算，也就是經互斥或(XOR)運算取得動態物件之輪廓；再經多方向(至少有上下左右四個方向)光線投射留陰影的處理方式，完成圖框內動態實體物件形成503步驟；動態實體物件取得之後，以交替式左縮一點右縮一點方式，完成實體物件細線化504步驟；細線化物件再以習知端點定位技術，進行細線化物件端點定位505處理；隨後，端點歸類與位置紀錄506步驟將前述找出的端點，進行頭、手、腳或其他等之歸類，並紀錄其位置而形成運動曲線。

B.         距離分析：

如圖5.3，影像記憶體440取出一個CCD圖框影像501，以習知臉部定位技術完成圖框內臉部輪廓萃取507；再以找出的臉部輪廓進行臉部面積計算508；就可以計算出的臉部面積佔據整個圖框影像之比例，完成收視距離計算509。

 

 

圖5.3肢體運動曲線辨識演算法及距離演算法

 

(Revision: 6 / 2010-09-16 20:25:14)

6. 設計特點 (Preliminary Paper)

 

本作品設計特點在於能與電視互動實現健康照護。過去的互動系統中，受限於器具、環境等影響，互動方式實在有限，尤其大多採用觸控式螢幕控制，便需要設計高自由度的人機介面。直至目前為止，電視互動幾乎是透過遊戲主機來進行互動，然而本作品未來將嵌入於電視機盒內部，再利用CCD取得現場影像資料，進行動作判別與分析。每當觀看者距離電視越近時，則螢幕開始收縮，如果觀看者不適時的遠離，電視螢幕將會完全遮罩；並且本作品還利用螢幕收縮機制，來提醒觀看者，不可長時間因看電視而不活動，所以會適時的收縮螢幕來提醒收視者動一動。採用影像識別型的互動式系統結合一般電視，來達到本作品的運動提醒功能，為自家電視提供多樣化的互動模式。

 

(Revision: 5 / 2010-09-16 20:08:08)

7. 總結 (Final Project Paper)

 

小孩在觀看電視時，很容易離電視越來越近，本作品設計成果如圖7.1，可以偵測小孩與電視距離，當小孩子離電視距離越近時，本作品則會根據小孩子與電視的距離，來罩遮電視屏幕，若小孩子恢復正常距離時，電視屏幕則會恢復正常。

 

 

圖7.1小孩距離電視過近時所執行的遮罩

 

而在長時間觀看電視下，所造成人體的運動量不足。在此健康模式做監測處理的同時，隨時會記錄收視者現在的動作狀態，倘若某一部位維持一定動作過久時，便以設定好的遮罩方式來提醒收視者該動一動了，若電視已遮罩了而收視者許久未動，則電視屏幕會持續遮罩，直到完全黑屏；若收視者有適當運動時，電視屏幕則會恢復正常視頻，如圖7.2所示。

 

 

 

圖7.2提醒收視者要做運動的提醒遮罩

 

(Revision: 4 / 2010-09-16 20:09:38)