TW001 以 FPGA 實現即時動態影像追蹤系統

排名 獲獎學生 學校 指導教授
亞軍 繆孝君 國立虎尾科技大學資訊工程系 徐元寶
 

1. 設計介紹

政府為維護社會治安,推動了各種的政策及專案,也瞭解預防犯罪的重要性,在資訊科技的幫助下,路口監視錄影系統由以往類比模式演進為數位模式,附加更加多元的功能,透過網路服務,更可即時傳送及監控。

由於路口監視系統在國內外協助破獲許多重大刑案,使得政府一再推動路口監視器的建置,作為警方偵辦刑案的重要參考依據,更列為了治安的重要建設之一,但是一台監視器往往只能以固定的方式來進行監控,如需得知嫌疑犯的逃亡動向,就勢必要增裝一台以上的監視器,既耗費資源又無法取得確切資訊,為了達到更好的監視效果,本作品設計一台監視器不但擁有監視的基本功能,更能實現追蹤移動物體的功能,如實際加裝在街道路口上就能以多種角度拍攝到可疑物體的各個特徵,可提供警方重要訊息進而偵破重大案件。

 

2. 功能描述

(1)時間顯示

第一顆七段顯示器:代表時間單位小時的十位數。

第二顆七段顯示器:代表時間單位小時的個位數。

第三顆七段顯示器:代表時間單位分鐘的十位數。

第四顆七段顯示器:代表時間單位分鐘的個位數。

透過時間控制電路來實現時間的計算,並且將目前的時間經過轉換電路正確的顯示在七段顯示器上。

(2)實景畫面顯示

CCD部分是以I2C方式控制,由I2C產生CCD 模組所需的時脈,而CCD 擷取資料產生第一個模組所需的時脈。當資料擷取後,所擷取的資料為RAW格式,須將此格式轉換為RGB格式才能顯示在LCD上。轉換後的資料經由SDRAM Controller存入SDRAM,此為Multi-Port輸入,因此資料會不停地依序輸入與輸出。在LCD 模組控制上,採用的是I2S控制驅動,並將所轉換的像素由列至行依序顯示在LCD面板上。

(3)功能狀態顯示

Altera DE1並無內建LCD顯示模組,所以本系統單獨使用微處理器來控制LCD顯示,並且使用RS232來做為兩者的溝通橋樑。

(4)水平俯仰機構控制

為了實現影像追蹤的功能,本系統必須將CCD影像模組加裝至水平俯仰機構上,而水平俯仰機構是由兩顆RC伺服馬達所組成,分別控制CCD影像模組的水平及垂直移動。 RC伺服馬達一般是利用脈波寬度調變的控制方式,以20mS為一控制週期,當所給定的脈波寬度調變為0.5mS~2.5mS範圍時,對應的剛好是RC伺服馬達由0度~180度的線性變化,使用FPGA設計一個脈波調變電路,發送出可變的脈波寬度來控制馬達到適當角度。

(5)影像畫面儲存

使用DE1將欲保存的畫面寫入到SD卡記憶體內,而圖檔以寫入時間來 命名。

(6)警報器

將喇叭連接到DE1平台的LINEOUT上,打開喇叭電源,調整好音量,如果偵測到可疑物體將會發出警報聲。

 

3. 效能參數

 本作品最大特色就是我們擁有快速的影像處理能力,影像資料從CCD擷取並且送至VGA顯示完全採用純硬體電路來處理,因此資料會不停地依序輸入與輸出,做影像即時的處理,如下圖為影像資料傳遞的過程。

另外擷取CCD的影像像素為640×480,所以使用純硬體的設計方法,數位電路在時脈 25 MHz之下,其每秒的擷取速度約為81FPS (Frame Per Second)。本作品可說是不需使用Nios II處理器也能實現即時影像追蹤及畫面顯示。

4. 設計架構

硬體設計方塊圖

軟體流程圖

 

5. 設計方法

本作品的主要工作分為影像處理演算法與硬體週邊功能兩部份,而使用FPGA實現影像處理演算法的設計流程如下:
(1)彩色空間轉換:將RGB彩色空間分離出色調及光線強度。
(2)直方圖等化:由於白天與黑夜所擷取的畫面並不清晰可見,所以可藉由此方法進行影像強化處理。
(3)顏色偵測:以人類的膚色作為色彩鎖定依據。
(4)二直化:分離鎖定目標與其他畫面。
(5)影像收縮:去除雜訊。
(6)物體位置鎖定:以分離出面積最大者為追蹤目標。

而其他硬體週邊設計流程如下:
(1) 讀取SD card的WAV格式音樂檔,並藉由LINEOUT輸出於喇叭。
(2) CCD擷取影像寫入SD card。
(3) 七段顯示器顯示時間。
(4) CCD擷取影像顯示於VGA。
(5) DE1透過RS232控制LCD顯示。
(6) I/O控制水平俯仰機構。

 

6. 設計特點

(1)移動物體偵測及追蹤

本系統主要功能是偵測移動物體並追蹤,利用Cyclone II大容量的FPGA,藉由CCD擷取實景畫面做到即時影像的串流處裡,並且使用I/O PORT控制RC伺服馬達,來實現本系統的功能。

(2)警報器音效輸出

依照使用者的設定操作,每當偵測到可疑物體經過時,會經由Altera DE1的音源輸出發送警報聲。此功能可以使用在一般居住所內,如全家外出時,便將此功能啟用,以嚇阻可疑人物入侵。

(3)即時影像儲存

當偵測到移動物體時,除了可以選擇發出警報聲響外,還可以做影像畫面儲存,可藉由Altera DE1的SD卡存取介面來實現此功能 。

(4)時間顯示

當監視器拍攝到可疑人物時,卻無法得知畫面的拍攝時間,這將會失去寶貴的線索,所以時間對於監視系統是相當重要的,Altera DE1提供了4個七段顯示器,來顯示目前的正確時間,並且儲存至SD卡的資料將會以時間設為檔案名稱,讓使用者能夠清楚知道此拍攝畫面的正確時間。

(5)設備輕巧,操作容易

本系統整體只需Altera DE1平台及一些可依使用者擴充的周邊硬體(LCM液晶顯示、LCD字幕顯示模組、喇叭等),不需額外透過PC來處理,可說是相當輕便的,另外透過平台提供的開關及RS232介面,就能讓使用者輕易的操作本系統。

 

7. 總結

友晶科技公司提供了我們許多FPGA高階開發平台及設計資源,在豐沛的資源環境下使學生在創作或研究上能夠盡情的發揮,並且將這些努力的結晶展現在友晶科技公司舉辦的「2009 Altera 亞洲創新設計大賽」,讓所有評審委員及全國師生相互交流。
本作品目的就是要讓整體監視系統功能可以齊全但外部配置不可以龐大,不需要透過PC也能達成系統所需的功能。未來可以加強改善的地方整理列舉如下:

1. 由於畫面儲存至SD CARD目前是採用RAW格式,此格式需藉由PC轉檔成JPEG或其他影像格式才直接開啟,所以系統如能建構一個JPEG壓縮加速器將會更加完善。

2.目前影像辨識是使用顏色偵測的方法,我們可以再加上目前最熱門的人臉辨識方法,可在影像追蹤及鎖定上會更加精確。

3.在未偵測到可疑人物時,我們的監視器可以增加設定移動路徑功能,將監視範圍擴大。

4.在功能設定方面可以使用觸碰螢幕以及圖形化介面,讓使用者在操作控制上增加便利性。

最後非常感謝友晶科技提供了這次競賽機會,讓我不遺餘力的投入研究及開發新作品,對於FPGA方面學會了多模組整合設計技巧和各種相關的設計,也在軟硬體各個層次上更加熟練,希望未來我在這方面專長加以精進,未來投入職場為這社會能有小小的貢獻。