Profile - TW059

TW059

endoscope embeded with stereo technique

Project Paper - view as Preliminary(2010/07/21), Final(2010/11/01), Draft, Latest

1. 設計介紹 (Preliminary Paper)

即時內視鏡/腹腔鏡立體視覺顯示裝置

Real-time stereo display device for endoscopy/laparoscopy

 

大學院校: 國立陽明大學醫學工程研究所

參賽隊員: 趙偉光

指導老師: 張寅 教授

  

一、設計介紹

1.設計目的

前景提要:

    目前醫學界於二十世紀末開始蓬勃發展的微創手術（將手術傷口及患者身體所受的破壞減到最小的手術方法）就常使用到內視鏡。內視鏡檢查能以最少的傷害，達成觀察人體內部器官的目的。方法是用一根細長的光學鏡頭伸入人體，大多是經由人體原有的孔道（如胃鏡、膀胱鏡），也有一些是經由人為形成的管道，如腹腔鏡、胸腔鏡、關節鏡。這些儀器不但能讓人看見人體內的影像，也能切取組織樣本以供切片檢查，或取出體內的異物。

 許多內視鏡手術和傳統方法相比，疼痛可以大幅減輕，只有一點點不舒服。在本設計中，依據人類視覺系統成像原理設計了一套立體視覺系統，使醫療人員能具有立體視覺可從影像感受到物體的距離感，使醫療人員在內視鏡儀器的操作上能夠更為方便準確。

 

設計考量:

        一套可使內視鏡/腹腔鏡具有立體視覺感之平台，必需考量影像顯示時是否具有即時性、立體感，使用者操作的便利性、輕便性，以及系統本身是否能長時間使用等議題。本研究中採用具有速度優勢的FPGA來實現硬體架構，作為影像處理的工具，透過兩組微顯示器，作為顯示的方式，將兩組微顯示器設計成類似眼鏡似的型態，即為頭戴型顯示器，利用內視鏡的單一鏡頭把連續之影像擷取後，透過FPGA處理，最後顯示在頭戴型顯示器即為本研究的基本架構。醫療人員觀看的畫面成像在顯示器上，所觀看的影像是平面的，無法感受物體的距離感，因此在本研究中，設計了一組立體影像，使醫療人員能具有立體視覺可從影像感受到物體的距離感，使醫療人員在手術儀器的操作上能夠更為準確。

 

設計重心:

 讓操作者及實習者或助手皆能同步看到立體的影像，而其他的醫療人員可藉原來的平面顯示器看手術的進行。因為是立體視覺的影像，依此操作者對標的物「距離」的拿捏會比較精確，手術儀器的操作上能更快，手術時間便可以更短。

1)立體視覺:

 我們針對左右兩眼顯示器的訊號做相對應的立體視覺修正運算，藉由影像的旋轉及平移，讓觀看二維平面影像顯示器的醫療人員能夠產生左右兩眼的視差，藉以模擬人眼視覺上的生理機制，並透過視覺大腦皮質結合而產生融像機制，以便產生視覺上的立體感。這讓醫療人員更容易判斷病灶的遠近距離，以縮短手術所需要的時間。

 

2)開發平台:

 基於以上所提及的設計目標，我們選定現場可規劃邏輯陣列(Field Programmable Gate Array, FPGA)晶片，採用友晶科技公司的Altera DE2-70開發板作為影像處理平台，將影像進行處理後，輸出至頭戴式螢幕。開發期間透過Altera公司開發的軟體Quartus II撰寫Verilog code合成我們所需的電路，並燒錄至DE2-70上做功能性的驗證。使用FPGA有快速開發並易於修改的特點，這不論在業界或是研究上都是一個強大的優勢。

 

2.作品介紹

1)硬體平台:

 設計主要以友晶科技公司出品的ALTERA DE2-70開發板作為影像處理平台，透過單一內視鏡鏡頭(CCD鏡頭)擷取影像，經由ADC轉成數位訊號再將資料傳至FPGA做立體視覺運算，最後由VGA DAC轉成類比訊號以HMD頭戴式顯示器輸出。如下圖1-1。

 

圖1-1以FPGA來實現內視鏡立體視覺輔具的架構

 

2)開發介面:

 利用ATLERA公司所發展的Quartus II軟體為開發介面，撰寫及修改Verilog code能快速開發我們所需要的架構並合成電路，再及時透過USB Blaster燒錄至DE2-70開發板上驗證功能，

 

 

3.應用領域及目標用戶

1)應用領域:

腸胃科

胸腔科

泌尿科

一般外科

耳鼻喉科

麻醉科

直腸外科

健診中心

婦產科

骨科

胸腔外科

腦神經外科

2)目標用戶:

腸胃科醫師

胸腔科醫師

泌尿科醫師

一般外科醫師

耳鼻喉科醫師

麻醉科醫師

直腸外科醫師

健診中心醫師

婦產科醫師

骨科醫師

胸腔外科醫師

腦神經外科醫師

 

4.發展套件

 立體視覺的運算是數位訊號演算的程序，考量我們發展即時立體影像的視覺輔具目標，我們使用了FPGA作為影像處理的平台。我們以DE2-70 Development and Education Board作為我們的開發板。DE2-70擁有許多特性讓足以讓我們實現立體視覺輔具的開發。其中包含大容量LEs的Cyclone II FPGA、支援USB Blaster、Two 32-Mbyte SDRAM及250個M4K，使我們能處理大量的影像資料運算。這些功能在我們實現視覺輔具上有極大的幫助。圖1-2為DE2-70的實體圖。

圖1-2

DE2-70 Development and Education Board 特點例舉：

l   Altera Cyclone II FPGA with 68416 LEs

l   USB Blaster (on board) for programming and user API control; both JTAG and Active Serial (AS) programming modes are     supported

l   2-Mbyte SSRAM

l   Two 32-Mbyte SDRAM

l   8-Mbyte Flash memory

l   SD Card socket

l   4 pushbutton switches

l   18 toggle switches

l   18 red user LEDs

l   9 green user LEDs

l   50-Mhz oscillator and 28.63-Mhz oscillator for clock sources

l   24-bit CD-quality audio CODEC with line-in, line-out, and microphone-in jacks

l   VGA DAC (10-bit high-speed triple DACs) with VGA-out connector

l   2 TV Decoder (NTSC/PAL) and TV-in connector

l   10/100 Ethernet Controller with a connector

l   USB Host/Slave Controller with USB type A and type B connectors

l   RS-232 transceiver and 9-pin connector

l   PS/2 mouse/keyboard connector

l   IrDA transceiver

l   1 SMA connector

 

l   Two 40-pin Expansion Headers with diode protection

 

 

 

(Revision: 2 / 2010-06-30 14:48:43)

2. 功能描述 (Final Project Paper)

二、功能描述

     1)立體視覺:

一套可使內視鏡/腹腔鏡具有立體視覺感之平台，必需考量影像顯示時是否具有即時性、立體感，使用者操作的便利性、輕便性，以及系統本身是否能長時間使用等議題。本研究中採用具有速度優勢的FPGA來實現硬體架構，作為影像處理的工具，利用內視鏡的單一鏡頭把連續之影像擷取後，透過FPGA處理，最後希望能夠顯示在頭戴型顯示器即為本研究的基本架構。

目前以2D影像轉換為3D影像顯示的技術，可概分為『裸眼3D平面顯示器』與『特殊的影像處理軟體』(例如: Autodesk 的3D MAX)，前者主要是以光柵分光來達到影像效果，缺點是對於觀賞者而言有觀看角度的限制，如要增加更多觀賞的角度，影像的分辨率(definition)會隨之下降。後者則是以手動或半自動的方式來分析原有影像後再做景深圖(depth map)之運算來達到效果，缺點是要花大量的時間而難以處理video stream。

 因此，本設計希望能夠透過以FPGA來結合軟硬體並設法解決他們缺點。透過頭戴式螢幕，我們針對左右兩眼顯示器的訊號做相對應的立體視覺修正運算，藉由對影像的旋轉及平移，讓觀看者能夠產生左右兩眼的視差及不同之光角，以模擬如眼睛所觀看到的不同視角，藉以模擬人眼視覺上的生理機制，從而產生融像機制，以便產生視覺上的立體感。

圖2-1

圖2-1為本系統整體之構想圖，醫療人員觀看的畫面成像在顯示器上，所觀看的影像是平面的，無法感受物體的距離感，因此設計了一組立體影像顯示在頭戴式顯示器，使醫療人員能具有立體視覺可從影像感受到物體的距離感，使醫療人員在手術儀器的操作上能夠更為準確。

2)即時影像

在動態影像處理上，每秒畫面更新速率最低必須達到人眼視覺暫留的1/16秒以上才能產生連續感。因此有許多不同的協會以此為根據，進而制定出許多不同的規範。在我們研究中採用美國國家電視規格委員會(NTSC) 所制定的電視通訊標準，以每秒至少需要有30張影像以上作為即時影像的定義。

 

3)使用介面:

     我們希望能夠設計出一個友善的介面，因為對於每個使用者而言都需要做一些參數上的微調，例如瞳距、光角等。為了讓使用者能獲得最佳的影像效果，以及最方便的控制方式，我們將使用旋鈕式開關來調控各式的參數。

(Revision: 2 / 2010-09-16 22:37:51)

3. 效能參數 (Final Project Paper)

三、效能參數

1.FPGA資源

    我們使用Quartus II 平台，以硬體描述語言Verilog HDL 撰寫程式，設計各個電路模組，並且規劃輸入輸出的腳位，最後合成出實際的數位電路，燒錄到FPGA裡，用以實現目前內視鏡立體視覺的架構。數位電路合成後，我們可以從Quartus II 合成回報中得知電路所使的資源，如下表3-1所示。

	Use/Resource	Utilization
Logic elements	5,451/68,416	8%
Multiplier 9-bit elements	40/300	9%
Memory Bits	1,02,336/1,152,000	9%
PLLs	1/4	25%
Pins	241/622	39%

表3-1 電路內部各項資源使用率

   由於受限於ALTERA開發板上只有一個VGA輸出阜，而我們的設計又需要個別輸出到左右兩個顯示器上，因此現在所使用的系統是同時運用的兩塊開發板，接下來我們要將整個系統做在同一塊開發板上，運用GPIO來做為第二個影像輸出。

2.Frame Rate

   我們利用硬體平行處理影像的架構，在FPGA上實現影像強化電路，有效的加速影像處理的運算，滿足人類視覺暫留的需求。我們以 27 MHz 的震盪器作為時脈，每秒的輸出可達到64張640X480的畫面，如下式。

 

(Revision: 3 / 2010-09-17 01:20:01)

4. 設計架構 (Preliminary Paper)

四、設計架構

1.系統架構:

圖4-1系統流程架構圖

 藉由CCD將影像擷取後對影像解碼，並傳送至FPGA對影像作立體化的處理，最後分為兩個影像路徑傳送至頭戴式螢幕顯示。

 

(1)影像擷取

 影像由CCD擷取進來後，以DE2-70上的TV Decoder 做類比轉數位的動作，再將數位訊號傳送到Altera Cyclone^® II的FPGA內部做處理。

(2)訊號解碼

 訊號進入FPGA後首先經過ITU-R 656解碼電路，將輸入訊號解碼成交錯的Y、Cb、Cr訊號，再進行De-interlace電路做解交錯的動作。

(3)立體視覺運算

 將強化過後的影像訊號做Shift及Scale，以達成立體視覺的修正運算，並將Y、Cb、Cb轉為VESA格式的R、G、B的訊號。

(4)影像輸出

 將訊號傳送到VGA DAC做數位轉類比的輸出後，經由HMD驅  動電路模組顯示在頭戴式螢幕，或直接以LCD顯示強化影像供弱視者觀看。

(5)周邊電路控制

 利用I²C介面電路控制TV Decoder及HMD。

 

 

 

2.立體視覺:

 強化後的影像顯示在二維平面的顯示器上，弱視者無法感受觀看物體之立體感，因此須將影像進一步的做立體視覺運算的處理。

立體視覺運算的流程如下:

 

(1)影像內插

 利用一個一寫二讀的3-Port RAM做為Line Buffer，將二個Output訊號傳至MAC做內插補點的加乘運算。

(2)位移控制

 弱視者可藉由DE2-70開發板上的KEY1及KEY2對影像的輸出做立體視覺的微調，以達到符合個人需求之立體效果。

(3)影像輸出

 將內插補點與位移後之Y、Cb、Cr影像，轉換成VESA格式之R、G、B影像，再藉由HMD驅動電路輸出至頭戴式螢幕。

(Revision: 2 / 2010-06-30 15:14:01)

5. 設計方法 (Final Project Paper)

五、設計方法

1.設計流程

本設計的立體視覺系統是基於人類視覺反應為基礎的架構，因此收集生理視覺的資料是開始的第一步，之後是開始收集關於3D顯像之技術文章，從而獲得實現STEREO的幾大要點:

1.     視差(parallax)

2.     色彩及陰影

3.     線性角度及運動視差

而我所要做的就是以FPGA處理經過的影像訊號，達到模擬出幾個要點的特性出來。而設計的一開始是先以影像變形軟體”Morph man”，由STOIK image開發，來做為stereo image 的模擬 ，最後再以Verilog編寫符合模擬的演算法。流程圖如下:

圖5-1

2.實現步驟

      在實做方面生理光學的概念圖如下:

圖5-2

     人類在注視一物體時，會聚焦在同一點上，而本系統使用單一CCD camera為影像輸入源，因此我們由Camera所輸入的影像需要經過處理從而得到如人雙眼觀察同一物體時的影像位移與不同的光角。實做步驟圖如下:

圖5-3

 

 

 

 

(Revision: 3 / 2010-09-17 01:21:33)

6. 設計特點 (Preliminary Paper)

六、設計特點

 

現即時影像、反應即時資訊:

 本題目之立體視覺輔具設定在醫療環境下使用，因此即時影像的顯示，對於醫療人員實際器具的操作，是一個很重要考量。我們從硬體開發的想法出發，以DE2-70實現了即時影像處理的目標。

 

實現立體視覺:

 我們在輔具中以立體視覺的運算，讓使用者觀看二維平面顯示器的HMD時，亦可藉由大腦融像機制產生立體感。

 

使用FPGA提升效能:

     目前要實現影像強化處理的方式有許多不同的選擇，例如可選擇以電腦(PC)、微處理器(Micro-processer)或數位訊號處理器(Digital Signal Processor, DSP)等架構上實作。考量我們輔具架構所需要的大量影像處理運算及即時(Real-time)影像的顯示，我們選擇使用Altera公司Cyclone II的FPGA晶片，並使用硬體平行處理方式做影像運算，以提升輔具的效能。

(Revision: 2 / 2010-06-30 15:15:17)

7. 總結 (Final Project Paper)

七、總結

在確定要做與影像系統相關的設計之後，第一個著手學習的就是DEMO檔案中的TV架構，在之前對於影像的處理還只限於C++，對於硬體架構，線路訊號該如何連接著實苦惱了一陣子，因而開始了開發板IC認識之旅。當我對於程式與硬體架構之間的關係更為了解之後覺得可以在FPGA上可以做得到的設計還有很多很多。

 

我們目前所開發出來的立體視覺架構還有很多需要加強與改進的地方，例如:

1.在同一塊開發板上達到雙VGA輸出。

2.使用者介面：建立更完善的使用者介面，簡化參數的設定，使用者可以有更直觀的操作與調整。

3.更完善的立體視覺演算法，以達到醫療影像等級。

5.硬體升級：整合硬體，建立完整的數位訊號流架構。攝影機方面，使用更高解析度與更大感光範圍的CCD作為訊號來源，使影像的品質更好。顯示器方面，使用寬螢幕比例的微型顯示器，增大配帶者的視野。

　　我們的設計與研究，皆是希望以最符合使用者需求的方式來幫助醫療人員，雖然還有許多部份我們需要再改進。

　　

    最後我們也非常感謝Altera公司以及友晶科技提供了這次的機會，讓我們在這次參賽過程中受益良多。看到Altera公司以及友晶科技不遺餘力的在教育界推廣與栽培人才，激勵出許多團隊合作的漂亮成果，其理念真的是震撼人心。這也勉勵我們要更盡力的去研究，拿最好的成果來共享盛舉，希望在這次比賽中有助於推廣Altera公司以及友晶科技的理念。

(Revision: 2 / 2010-09-17 01:16:30)