請追蹤本網誌的讀者注意！本網誌已經於2010年12月27日搬家，原網誌保留但網址更改為http://ykwang0.blogspot.com/。
建議追蹤本網誌（原背景顏色為藍色）者，可到http://blog.ykwang.tw/（背景顏色為綠色）重新追蹤。
2010年12月17日 星期五
FJUCam2/VCam的生態系統
近日看到EETimes文章提出一個觀念：Robust Ecosystem=Embedded Success[1,2]，意指一個嵌入式系統要成功，必須要能提供完整的生態系統（Ecosystem），例如完整的開發環境、完整的應用、完整的周邊。
我看了後深有感觸，覺得我們智慧型實驗室在發展FJUCam/VCam的方式，就是這樣一個觀念，因此乃撰此文以為呼應。
我們的FJUCam/VCam也有野心要提供Ecosystem，但是是針對Smart Camera概念的生態系統，範圍從軟硬體元件、開發環境、應用等3個方面，都提供完整的嵌入式視覺(Embedded Vision) [3,4] 系統架構。
為何這樣做？因為嵌入式的應用包羅萬象，涵蓋範圍廣泛，尤其是朝嵌入式視覺方向走，則更需要高性能的MCU/DSP來完成。再加上需要高速網路連結、大量記憶體、快速資料儲存傳輸等需求來完成電腦視覺運算，則更難找到適合的平台（含硬體與軟體的整合平台）。
我在大約三年前(民國96年)開始尋找適當的平台。我的目的其實很簡單：有一套效能跟PC接近的嵌入式系統，處理器能在2GHz以上，記憶體需要1G，可以用C語言來開發電腦視覺演算法，能達到至少每秒10張影像的處理效能。
更重要的是，最好學生都不用懂硬體，直接就可以撰寫演算法達到此效能。
我從MCU、FPGA、一路找到DSP，全都失望。不僅效能不夠，絕大部分都不談如何接攝影機以輸入影像與視訊，更有許多都沒有作業系統。
這個探索的歷程，真是一言難盡。
直到98年我才突然醒悟：原來所謂的嵌入式系統，其定義就是「資源有限」。而我們以前在PC上發展電腦視覺演算法，都是本著「資源無限」的觀念來開發。
所幸在98年開始，發現計算機硬體開始有一個新潮流走向：多核心。其效能看來可以有我預期的程度，因此開始有了信心。
再加上Embedded Linux從99年開始大量使用，開發環境趨於普及，開始覺得我們有機會可以做作看了。
但是有了晶片、有了OS，問題仍然存在：我無法讓學生都不用懂硬體，直接就可以撰寫演算法達到良好效能。
原因是：現有的多核心嵌入式開發板，體積大的像恐龍，無法連接各種介面的Camera介面（USB等），有些還要自行編譯或撰寫驅動程式。
除此之外，軟體發展環境複雜的難以接受，一大堆的設定，還要瞭解記憶體規格才能完成設定。我一直都找不到直接就設定好的軟體環境，以供學生自由開發演算法。
後來才又發現：原來多核心這樣一個新的計算機技術，在硬體與軟體層面都是新挑戰。硬體上，板子還沒有人有能力做到非常小。軟體上，還沒有人能將多執行緒平行化的程式庫建立起來。
因此就是還沒有可以用的板子。看來要等人做出來的話，要等至少3～5年。而且還不見得可以適用於發展電腦視覺演算法。
但為何國外的前瞻實驗室，都可以做嵌入式視覺的研究呢？
原來就是要一切自己來。
我忽然醒悟：原來前瞻的研究，軟硬體都要自己來。MIT Media Lab就是如此。這樣創意才不會受限。
原來我已經不是單純要做論文或發展演算法而已，我是要朝創意發展。
所以得要自己做板子，瞭解硬體的特點並知道如何發揮硬體效能，然後自己發展軟體程式庫，就可以開始做演算法，並實現創意應用技術。
為做到這樣，我們真的開始建立一個Smart Camera Ecosystem了。
我們面臨的挑戰，是我們必須深入瞭解Camera硬體與計算機硬體的軟硬體架構，拆解其技術成分；然後我們再去尋找各個技術的解答，分析其優缺點，決定自己的規格；最後再再開始自行做硬體與軟體，以發展出我們理想中的軟硬體平台，成為FJUCam。
我們已經有發展一套FJUCam，是以ARM7為核心，運算能力雖然只有60MHz，記憶體只有64KB，且沒有作業系統，但整合了一套C語言程式庫以供開發演算法，可以做人臉偵測與機器人視覺的簡單應用，並且適合應用在Sensor Nework。預計在100年1月會有碩士論文產出，並放在網站上公開其研究內容。
但我們目前也已經開始著手第二代的FJUCam，稱之為FJUCam2/VCam，採用異質雙核心(Heterogeneous Dual-core)的DSP，CPU運算速度可以比FJUCam快10倍：600MHz，記憶體容量高2000倍：256MB，並且可以外接各種周邊。若會撰寫DSP程式再使用其DSP核心，則會有更高的效能。
我們的FJUCam2/VCam目前已經有以下的成果：
1.在軟硬體元件方面，我們開發一個異質雙核心(Heterogeneous Dualcore)處理器的高效能嵌入式電腦。其視訊輸入可以連接3種攝影機介面(Camera Bus、LVBS Video In、USB)，並且可以自行組合各種Camera元件(各種焦距距離的鏡頭、CCS/CMOS感測器、Omni-cam、NIR/Thermal Cam [5]、Wearable Cam、Stereo Cam等) [6]。視訊輸出可以用HDMI/DVI連接液晶螢幕與投影機。作業系統方面以Embedded Linux為主，但已經可以有5種作業系統：Android[7], Angstrom, Meego[8], Linaro, Ubuntu。
我們認為FJUCam2/VCam是一個高效能的嵌入式視覺平台，是一個經過整合好的硬體、軟體、與攝影機的開發環境，可以讓後續的研究生與研究者不需瞭解太多軟硬體細節，很容易就可以開始實現電腦視覺演算法，並開發創意的應用。
[1] ST Virtual Conference: Robust Ecosystem=Embedded Success, EE Times, December 2, 2010.
[2] From Microcontrollers to Ecosystems, EE Times, December 2, 2010.
[3] Towards Embedded Computer Vision邁向嵌入式電腦視覺，王元凱，blog.ykwang.tw，2010年10月3日。
[4] 嵌入式視覺系列, Part I-嵌入式系統上DSP的發展方向:ISP，王元凱，blog.ykwang.tw，2010年10月9日。
[5] 熱顯像攝影機(Thermal Camera)於FJUCam2/VCam之應用與考慮，王元凱，blog.ykwang.tw，2010年9月5日。
[6] FJUCam2/VCam可以使用的Camera Module，王元凱，blog.ykwang.tw，2010年11月14日。
[7] Android beyond the phone─兼論FJUCam2的下一步Android發展方向，王元凱，blog.ykwang.tw，2010年8月26日。
[8] Meego，王元凱，blog.ykwang.tw，2010年10月5日。
我看了後深有感觸，覺得我們智慧型實驗室在發展FJUCam/VCam的方式，就是這樣一個觀念，因此乃撰此文以為呼應。
我們的FJUCam/VCam也有野心要提供Ecosystem，但是是針對Smart Camera概念的生態系統，範圍從軟硬體元件、開發環境、應用等3個方面，都提供完整的嵌入式視覺(Embedded Vision) [3,4] 系統架構。
為何這樣做？因為嵌入式的應用包羅萬象，涵蓋範圍廣泛，尤其是朝嵌入式視覺方向走，則更需要高性能的MCU/DSP來完成。再加上需要高速網路連結、大量記憶體、快速資料儲存傳輸等需求來完成電腦視覺運算，則更難找到適合的平台（含硬體與軟體的整合平台）。
我在大約三年前(民國96年)開始尋找適當的平台。我的目的其實很簡單：有一套效能跟PC接近的嵌入式系統，處理器能在2GHz以上，記憶體需要1G，可以用C語言來開發電腦視覺演算法，能達到至少每秒10張影像的處理效能。
更重要的是，最好學生都不用懂硬體，直接就可以撰寫演算法達到此效能。
我從MCU、FPGA、一路找到DSP，全都失望。不僅效能不夠，絕大部分都不談如何接攝影機以輸入影像與視訊，更有許多都沒有作業系統。
這個探索的歷程，真是一言難盡。
直到98年我才突然醒悟：原來所謂的嵌入式系統，其定義就是「資源有限」。而我們以前在PC上發展電腦視覺演算法，都是本著「資源無限」的觀念來開發。
所幸在98年開始，發現計算機硬體開始有一個新潮流走向：多核心。其效能看來可以有我預期的程度，因此開始有了信心。
再加上Embedded Linux從99年開始大量使用，開發環境趨於普及，開始覺得我們有機會可以做作看了。
但是有了晶片、有了OS，問題仍然存在：我無法讓學生都不用懂硬體，直接就可以撰寫演算法達到良好效能。
原因是：現有的多核心嵌入式開發板，體積大的像恐龍，無法連接各種介面的Camera介面（USB等），有些還要自行編譯或撰寫驅動程式。
除此之外，軟體發展環境複雜的難以接受，一大堆的設定，還要瞭解記憶體規格才能完成設定。我一直都找不到直接就設定好的軟體環境，以供學生自由開發演算法。
後來才又發現：原來多核心這樣一個新的計算機技術，在硬體與軟體層面都是新挑戰。硬體上，板子還沒有人有能力做到非常小。軟體上，還沒有人能將多執行緒平行化的程式庫建立起來。
因此就是還沒有可以用的板子。看來要等人做出來的話，要等至少3～5年。而且還不見得可以適用於發展電腦視覺演算法。
但為何國外的前瞻實驗室，都可以做嵌入式視覺的研究呢？
原來就是要一切自己來。
我忽然醒悟：原來前瞻的研究，軟硬體都要自己來。MIT Media Lab就是如此。這樣創意才不會受限。
原來我已經不是單純要做論文或發展演算法而已，我是要朝創意發展。
所以得要自己做板子，瞭解硬體的特點並知道如何發揮硬體效能，然後自己發展軟體程式庫，就可以開始做演算法，並實現創意應用技術。
為做到這樣，我們真的開始建立一個Smart Camera Ecosystem了。
我們面臨的挑戰，是我們必須深入瞭解Camera硬體與計算機硬體的軟硬體架構，拆解其技術成分；然後我們再去尋找各個技術的解答，分析其優缺點，決定自己的規格；最後再再開始自行做硬體與軟體，以發展出我們理想中的軟硬體平台，成為FJUCam。
我們已經有發展一套FJUCam，是以ARM7為核心，運算能力雖然只有60MHz，記憶體只有64KB，且沒有作業系統，但整合了一套C語言程式庫以供開發演算法，可以做人臉偵測與機器人視覺的簡單應用，並且適合應用在Sensor Nework。預計在100年1月會有碩士論文產出，並放在網站上公開其研究內容。
但我們目前也已經開始著手第二代的FJUCam，稱之為FJUCam2/VCam，採用異質雙核心(Heterogeneous Dual-core)的DSP，CPU運算速度可以比FJUCam快10倍：600MHz，記憶體容量高2000倍：256MB，並且可以外接各種周邊。若會撰寫DSP程式再使用其DSP核心，則會有更高的效能。
我們的FJUCam2/VCam目前已經有以下的成果：
1.在軟硬體元件方面，我們開發一個異質雙核心(Heterogeneous Dualcore)處理器的高效能嵌入式電腦。其視訊輸入可以連接3種攝影機介面(Camera Bus、LVBS Video In、USB)，並且可以自行組合各種Camera元件(各種焦距距離的鏡頭、CCS/CMOS感測器、Omni-cam、NIR/Thermal Cam [5]、Wearable Cam、Stereo Cam等) [6]。視訊輸出可以用HDMI/DVI連接液晶螢幕與投影機。作業系統方面以Embedded Linux為主，但已經可以有5種作業系統：Android[7], Angstrom, Meego[8], Linaro, Ubuntu。
2.在開發環境方面，我們除整合既有的API/Lib(OpenCV, FFMpeg等)，也發展自己的API/Lib: EVK(Embedded Vision Kit)。我們可以依不同的作業系統，建立GNU整套開發環境。我們也整合Qt的視窗程式庫。
3.在應用方面，我們已經有幾組同學，分別將FJUCam2/VCam應用在開發醫療(Medical)、視訊監控(Video Surveillance)、擴增實境(AR)、機器人視覺(Robotic Vision)、3D/Stereo、與行動雲(Mobile Cloud)。
我們認為FJUCam2/VCam是一個高效能的嵌入式視覺平台，是一個經過整合好的硬體、軟體、與攝影機的開發環境，可以讓後續的研究生與研究者不需瞭解太多軟硬體細節，很容易就可以開始實現電腦視覺演算法，並開發創意的應用。
我們在短期內將會陸續有成果產出，並透過網路公開分享給有興趣的研究者。開發環境部分含EVK會Open Source，應用方面會挑選重要者提供Reference Design。軟硬體元件則交由廠商去發展。
我們希望透過這些研究成果，展現ISLab同學的能力，並與其他有興趣者一起來努力，發展嵌入式視覺的研究。
[2] From Microcontrollers to Ecosystems, EE Times, December 2, 2010.
[3] Towards Embedded Computer Vision邁向嵌入式電腦視覺，王元凱，blog.ykwang.tw，2010年10月3日。
[4] 嵌入式視覺系列, Part I-嵌入式系統上DSP的發展方向:ISP，王元凱，blog.ykwang.tw，2010年10月9日。
[5] 熱顯像攝影機(Thermal Camera)於FJUCam2/VCam之應用與考慮，王元凱，blog.ykwang.tw，2010年9月5日。
[6] FJUCam2/VCam可以使用的Camera Module，王元凱，blog.ykwang.tw，2010年11月14日。
[7] Android beyond the phone─兼論FJUCam2的下一步Android發展方向，王元凱，blog.ykwang.tw，2010年8月26日。
[8] Meego，王元凱，blog.ykwang.tw，2010年10月5日。
2010年11月14日 星期日
智慧家庭(Smart Home)
我在研究之餘探討智慧家庭已經有十餘年，並在約10年前開始開課講授此概念。如今智慧家庭在各國政府力推之下已經逐漸成熟，台灣走的比較慢，但也開始有一點成果了。本文將簡要說明一些觀念。
智慧家庭，除了將家電上網外，還必須融入家庭的應用，讓家庭生活變得更容易。居家生活不能因為上網設備變多而增加使用複雜度與居家的負擔。因此由數位家庭進展為智慧家庭，是必要的過程。
大約15年前，美國就已經有多所大學與公司在研究家庭智慧化的科技。如Georgia Tech的Aware Home、MIT的House n、Intelligent Room、Stanford Interactive Workspace、UC Boulder Adaptive House、UTA MAV Home、以及TCU的Smart Home。另外，微軟早期的Easy Living，菲立普的Vision of the Future、GE的Smart Home、Verizon的Connected Home等，都已經在構建未來的智慧居家生活願景。
這些都是我在十年前的研究案例，已經算是早期的先驅範例。這些案例觀念的說明可以參考我一個簡要的投影片檔案[1]。
近年來則有各國政府大力推展，美國、日本、德國、英國等都有大型的國家計畫在推展智慧家庭。這些資料可以參考幾篇文章[2-4]。
由於智慧家庭需要倚賴嵌入式系統嵌入到家電中，因此ARM CPU也扮演重要角色，並有專文[5]在探討ARM的嵌入式系統如何作為智慧家庭中各項裝置的CPU。事實上，邇來Google TV與Apple TV的推出，就都是以ARM當作CPU核心。此外，ARM在2010年的ARM大會上，將數位家庭定位為其未來發展的四大方向之一[6].
我於今年11月3日經過數位家庭聯盟的安排，參觀位於台北市的內政部智慧化居住空間展示中心[7]，看到內政部建築研究所已經集結多家國內廠商建立一個良好的示範點，並實質蓋了一棟房子來進行常態的展示。
該展示中心有1樓與2樓。1樓為智慧家庭的各項應用情境，包含有入口、玄關、餐廳、客廳、走道、小孩房、主臥房、老人房、浴室等情境。2樓為智慧辦公室的各項應用情境，包含有入口、辦公桌、訪客系統、會議室、簡報室、圖書室、中控室等。
我將這個難得的參觀機會拍照下來，並將80餘張照片投影播放如下。相信可以給本文讀者更具體的概念。
[1] 數位家庭、智慧家庭與智慧視訊監控, 王元凱, 2010/10/28.
[2] Designing a home of the future, S. S. Intille, IEEE Pervasive Computing, 2002.
[3] 探討先進國家智慧化居住空間共通標準平台之發展，內政部建築研究所。
[4] 智慧生活科技區域整合中心，國科會。
[5] ARM Powered Reference Designs for the Digital Home, A. K. Ramachandran, May 2008.
[6] 新一代SOC架構底定，ARM揭櫫四大發展藍圖，鍾榮峰，CTimes，2010/11/18.
[7] 內政部智慧化居住空間展示中心，http://www.living3.org.tw。
[6] 新一代SOC架構底定，ARM揭櫫四大發展藍圖，鍾榮峰，CTimes，2010/11/18.
從人工智慧到智慧生活
最近到處都聽到「智慧」，從智慧型手機到智慧台灣，台灣經濟與科技業無所不「智慧」。此趨勢令我聯想到大學部一門重要的選修課程：人工智慧。
我自教書以來每年都開設「人工智慧(AI, Artificial Intelligence)」這門課，迄今已15年。課程範圍包含知識表達、專家系統、知識系統、搜尋演算法、代理人、自然語言、機器人、電腦視覺、圖形辨識、貝氏網路等。
在教學過程中我逐漸深入瞭解這門博大精深的學問。除此之外，也更瞭解AI領域之先人與今之學者汲汲營營的目的，其原始動機在於發展讓機器具有智慧的能力，並探索更高靈性層次的研究方向[1-4]。
只是，此門課講授起來，對於學生一直有隔靴搔癢的感覺：過於理論。到底要怎樣才能做出有智慧的機器呢？有智慧的機器，對於人類的生活到底有何意義與貢獻呢？
近來，隨著電機電子與資通訊科技的進步，大家開始認真意識到「科技始終來自人性」、「科技的發展必須要符合人性」。
冷冰冰的科技，開始披上人性的外衣，展現擬人性的親和力。
手機不能只有通話功能，還要有人性化的介面，更具智慧，讓我們更容易操作；iPod,iPhone,iPad的觸控，要簡易使用，透過智慧化計算讓操作更簡單；電腦也不能笨笨的，要能自動連網，各種固網、無線網路都能輕易判斷而自動連結；更要有感知網路，透過RFID、語音、影像等感測器，電腦可以感知環境與人類的狀態，更聰明的與人類互動。
於是，開始有各種的新名詞、新專案、新計畫、新目標推陳出新，莫不提到「智慧」。
濫觴從MIT的Oxygen、IBM的Pervasive Computing、歐盟的Ambient Intelligence等開始。現在IBM野心更大，提出智慧地球，將所有智慧科技的應用概念都含括進去了。
台灣也開始不落人後，推竿邁進，如政府的智慧台灣[5]、四大智慧型產業[6]、智慧電動車、智慧綠建築、智慧電子國家型計畫（其實是VLSI的智慧化）、智慧醫療、智慧醫院、智慧生活[7,8]、智慧電網、智慧家庭、智慧機器人等，都是龐大的國家級科技執政計畫。
看來台灣政府已經卯上「智慧」了，將來台灣要善用資通訊（ICT）與半導體(VLSI)兩大產業的能量，創造台灣未來在科技業的領導地位，就是要「智慧」。
很高興人工智慧終於從遙不可及的天界降凡人間，成為世俗的普世價值，並將成為所有科技的終極價值。
[1] Stork, D (ed) Hal's Legacy: 2001's Computer in Dream and Reality. MIT Press, 1997.
On-line text: http://mitpress.mit.edu/e-books/Hal/.
[2] Kurzweil, R. ed. The Age of Intelligent Machines. MIT Press,1990.
Note: An excellent collection of readable introductions and classic research papers,
coffee-table standard of format and pictures, and absurdly cheap for what it is.
[3] Hofstadter, D.R. & D.C. Dennett, eds. The Mind's I: Fantasies and Reflections on Self and Soul.
Note: 27 short pieces on the cognitive science end of the spectrum, some science,
some fiction, all enjoyable to read
[4] Computers and Thoughts, E. A. Feigenbaumand J. Feldman, McGraw-Hill, 1963.
[5] 智慧台灣計畫網站，行政院，2008年12月15日。
我自教書以來每年都開設「人工智慧(AI, Artificial Intelligence)」這門課，迄今已15年。課程範圍包含知識表達、專家系統、知識系統、搜尋演算法、代理人、自然語言、機器人、電腦視覺、圖形辨識、貝氏網路等。
在教學過程中我逐漸深入瞭解這門博大精深的學問。除此之外，也更瞭解AI領域之先人與今之學者汲汲營營的目的，其原始動機在於發展讓機器具有智慧的能力，並探索更高靈性層次的研究方向[1-4]。
只是，此門課講授起來，對於學生一直有隔靴搔癢的感覺：過於理論。到底要怎樣才能做出有智慧的機器呢？有智慧的機器，對於人類的生活到底有何意義與貢獻呢？
近來，隨著電機電子與資通訊科技的進步，大家開始認真意識到「科技始終來自人性」、「科技的發展必須要符合人性」。
冷冰冰的科技，開始披上人性的外衣，展現擬人性的親和力。
手機不能只有通話功能，還要有人性化的介面，更具智慧，讓我們更容易操作；iPod,iPhone,iPad的觸控，要簡易使用，透過智慧化計算讓操作更簡單；電腦也不能笨笨的，要能自動連網，各種固網、無線網路都能輕易判斷而自動連結；更要有感知網路，透過RFID、語音、影像等感測器，電腦可以感知環境與人類的狀態，更聰明的與人類互動。
於是，開始有各種的新名詞、新專案、新計畫、新目標推陳出新，莫不提到「智慧」。
濫觴從MIT的Oxygen、IBM的Pervasive Computing、歐盟的Ambient Intelligence等開始。現在IBM野心更大，提出智慧地球，將所有智慧科技的應用概念都含括進去了。
台灣也開始不落人後，推竿邁進，如政府的智慧台灣[5]、四大智慧型產業[6]、智慧電動車、智慧綠建築、智慧電子國家型計畫（其實是VLSI的智慧化）、智慧醫療、智慧醫院、智慧生活[7,8]、智慧電網、智慧家庭、智慧機器人等，都是龐大的國家級科技執政計畫。
看來台灣政府已經卯上「智慧」了，將來台灣要善用資通訊（ICT）與半導體(VLSI)兩大產業的能量，創造台灣未來在科技業的領導地位，就是要「智慧」。
很高興人工智慧終於從遙不可及的天界降凡人間，成為世俗的普世價值，並將成為所有科技的終極價值。
[1] Stork, D (ed) Hal's Legacy: 2001's Computer in Dream and Reality. MIT Press, 1997.
On-line text: http://mitpress.mit.edu/e-books/Hal/.
[2] Kurzweil, R. ed. The Age of Intelligent Machines. MIT Press,1990.
Note: An excellent collection of readable introductions and classic research papers,
coffee-table standard of format and pictures, and absurdly cheap for what it is.
[3] Hofstadter, D.R. & D.C. Dennett, eds. The Mind's I: Fantasies and Reflections on Self and Soul.
Note: 27 short pieces on the cognitive science end of the spectrum, some science,
some fiction, all enjoyable to read
[4] Computers and Thoughts, E. A. Feigenbaumand J. Feldman, McGraw-Hill, 1963.
[5] 智慧台灣計畫網站，行政院，2008年12月15日。
[6] 四大智慧型產業，行政院，2010年2月2日。
[7] 智慧生活科技區域整合中心，國科會。
FJUCam2/VCam可以使用的Camera Module
我們ISLab實驗室目前正發展FJUCam2/VCam板子，以自行發展Smart Camera，並進行Video Surveillance, Robotic Vision, Augmented Reality、Portable Medical System等Embedded Vision的應用。
我們的FJUCam2/VCam是一個高性能的嵌入式系統，仍需要再搭配Camera Module以成為完整的Camera System。本文旨在說明FJUCam2/VCam可與各種不同Camera Module的結合方式。
我們發展的FJUCam2/VCam,，已經有雛形出來，如下所示：
可以看到此板子雖然稱之為Camera，但是其實沒有包含光學鏡頭與感測器。因此還需要加上這兩個組件。
至於Camera Module，包含也就是光學鏡頭(Lens)與影像感測器(CMOS/CCD Sensor）與ISP(Image and Signal Processing)[2]都需要另外連接。
將FJUCam2/VCam與Camera Module組合好的硬體，我們稱之為Camera System；若再加上軟體（作業系統、驅動程式、電腦視覺演算法），則我們稱之為Smart Camera。
一、USB
以USB來將Camera Module擷取的影像傳送到FJUCam2/VCam，是比較單純的作法，此作法需要搭配OS安裝該USB Camera的驅動程式方能擷取影像，方便之處在於FJUCam2/Vcam的OpenCV可以直接從該驅動程式抓取影像成為IPLImage影像結構的記憶體。
目前FJUCam2/VCam的主板已經有2個USB介面，可供連接USB Camera Moduel。
此種作法又有2種差別：
1. 一體成形的Camera Module
也就是一般PC上常用的USBCam/WebCam。此種Camera的鏡頭與、攝影機、ISP都已經是一套成形的產品。如羅技(Logitec)、Minoru等Camera都屬於此類，並且已經可以與FJUCam2/VCam整合。
此種方法的優點是可以快速整合FJUCam2/VCam硬體成為一台完整的Camera，缺點是影像品質較低、解析度較差、只能定焦、可變化性少。
2. 分離式Camera Module(分別組裝Lens與Image Sensor)
自己找Lens與Image Sensor來組合成為Camera Module。例如我們ISLab實驗室已經有PointGray等Image Sensor多台，並有Tamron的二十餘顆監控用定焦光學鏡頭，有各種不同的焦距。因此可以自行組合出各種不同的Camera Module。
Lens與Image Sensor連接的方式，有C Mount與CS Mount兩種。
分離式方法的好處，在於可以自行組合各種變化的Camera System，如近紅外線攝影機、變焦攝影機、高畫素攝影機等。
二、Composite Video
此種方式是善用現在市場上大多數Camera Module都已經採用Composite video輸出，因此可大幅擴充FJUCam2/VCam的Camera能力。例如熱顯像攝影機[3]的輸出介面都是Composite Video。
目前FJUCam2/VCam的主板並未提供Composite Video In的介面，需在第二層擴充版提供。FJUCam2/VCam的硬體架構將在論文發表後，再來撰文說明。
此種作法的立即好處，是可以讓FJUCam2/VCam直接成為特殊規格Smart Camera，如Thermal Smart Camera。
三、Camera Bus
此種方式透過OMAP3530的Camera Interface直接將Camera Module的影像以數位匯流排直接傳送給OMAP3530，通常也是使用一體成形的Camera Module，如Miniture camera module[1]。但由於傳輸協定較為複雜，目前FJUCam2/VCam並不採用此種方法。
本文先將FJUCam2/VCam的模組連接方式簡要說明如上。後續會另外撰文說明Smart Camera的觀念，並闡述FJUCam2/VCam與Smart Camera的關連。
[1] Color Camera Cubes, A. Wilson, OptoIQ, 2010/11/1.
[2] 嵌入式視覺系列, Part I-嵌入式系統上DSP的發展方向:ISP，王元凱，2010/10/09.
[3] 熱顯像攝影機(Thermal Camera)於FJUCam2/VCam之應用與考慮，王元凱，2010/9/5.
我們的FJUCam2/VCam是一個高性能的嵌入式系統，仍需要再搭配Camera Module以成為完整的Camera System。本文旨在說明FJUCam2/VCam可與各種不同Camera Module的結合方式。
我們發展的FJUCam2/VCam,，已經有雛形出來，如下所示：
| ||
| ||
可以看到此板子雖然稱之為Camera，但是其實沒有包含光學鏡頭與感測器。因此還需要加上這兩個組件。
至於Camera Module，包含也就是光學鏡頭(Lens)與影像感測器(CMOS/CCD Sensor）與ISP(Image and Signal Processing)[2]都需要另外連接。
將FJUCam2/VCam與Camera Module組合好的硬體，我們稱之為Camera System；若再加上軟體（作業系統、驅動程式、電腦視覺演算法），則我們稱之為Smart Camera。
FJUCam2/VCam與Camera Module連接的方式有三種：USB、Composite Video、Camera Bus。以下分別說明之。
一、USB
以USB來將Camera Module擷取的影像傳送到FJUCam2/VCam，是比較單純的作法，此作法需要搭配OS安裝該USB Camera的驅動程式方能擷取影像，方便之處在於FJUCam2/Vcam的OpenCV可以直接從該驅動程式抓取影像成為IPLImage影像結構的記憶體。
目前FJUCam2/VCam的主板已經有2個USB介面，可供連接USB Camera Moduel。
此種作法又有2種差別：
1. 一體成形的Camera Module
也就是一般PC上常用的USBCam/WebCam。此種Camera的鏡頭與、攝影機、ISP都已經是一套成形的產品。如羅技(Logitec)、Minoru等Camera都屬於此類，並且已經可以與FJUCam2/VCam整合。
此種方法的優點是可以快速整合FJUCam2/VCam硬體成為一台完整的Camera，缺點是影像品質較低、解析度較差、只能定焦、可變化性少。
2. 分離式Camera Module(分別組裝Lens與Image Sensor)
自己找Lens與Image Sensor來組合成為Camera Module。例如我們ISLab實驗室已經有PointGray等Image Sensor多台，並有Tamron的二十餘顆監控用定焦光學鏡頭，有各種不同的焦距。因此可以自行組合出各種不同的Camera Module。
Lens與Image Sensor連接的方式，有C Mount與CS Mount兩種。
分離式方法的好處，在於可以自行組合各種變化的Camera System，如近紅外線攝影機、變焦攝影機、高畫素攝影機等。
二、Composite Video
此種方式是善用現在市場上大多數Camera Module都已經採用Composite video輸出，因此可大幅擴充FJUCam2/VCam的Camera能力。例如熱顯像攝影機[3]的輸出介面都是Composite Video。
目前FJUCam2/VCam的主板並未提供Composite Video In的介面，需在第二層擴充版提供。FJUCam2/VCam的硬體架構將在論文發表後，再來撰文說明。
此種作法的立即好處，是可以讓FJUCam2/VCam直接成為特殊規格Smart Camera，如Thermal Smart Camera。
三、Camera Bus
此種方式透過OMAP3530的Camera Interface直接將Camera Module的影像以數位匯流排直接傳送給OMAP3530，通常也是使用一體成形的Camera Module，如Miniture camera module[1]。但由於傳輸協定較為複雜，目前FJUCam2/VCam並不採用此種方法。
本文先將FJUCam2/VCam的模組連接方式簡要說明如上。後續會另外撰文說明Smart Camera的觀念，並闡述FJUCam2/VCam與Smart Camera的關連。
[1] Color Camera Cubes, A. Wilson, OptoIQ, 2010/11/1.
[2] 嵌入式視覺系列, Part I-嵌入式系統上DSP的發展方向:ISP，王元凱，2010/10/09.
[3] 熱顯像攝影機(Thermal Camera)於FJUCam2/VCam之應用與考慮，王元凱，2010/9/5.
2010年11月11日 星期四
輔大附設醫院之醫療資訊發展
近日參與輔大醫院的資訊系統規劃會議，有一些心得與感想，特於此撰文說明。
輔仁大學已經經過董事會通過要成立輔大附設醫院，並將於104年完工開始運作。目前已經開始找到醫院用地，就在輔大旁邊；並已經開始著手規劃輔大附設醫院的建築藍圖，並已經尋找各種顧問群，如醫療、資訊顧問等。據聞顧問群約百餘人。
在醫療資訊系統(HIS)的發展上，看來真是龐大的工程，是一個大型的資訊軟硬體整合系統，從門急診、住院、醫療業務、醫務行政、通報系統、電子病歷、醫療照護、健康照護、藥品衛材採購、數位叫號系統、健保IC卡、RFID等，都要整合在一起。
雖然說目前醫療資訊系統已經有成熟的套裝系統可供採購並導入使用，但是看來還有許多發展的空間，如Nursing System、無紙化（電子公文與整套完整之電子病歷）、掛號看診系統等，都仍有發展的空間。
此外，醫院的資訊部門，也有人才不足的窘境，要聘請高品質的資訊人材來撰寫醫院本身相關的客制化軟體，一直都有人手不足的困難。究其因在於資訊專業人材喜於到高科技專業公司工作，一方面薪水高、二方面同儕學習環境完整，因此在醫院的環境要聘請純粹的軟體開發高手，的確有其困難。
因此，輔仁大學資訊相關系所，也許有必要規劃如何輔助人材培育。從資工系、資管系兩系來思考都是可行方式。另外，在醫工領域，除了資訊之外還包含醫學電子設備的人材，醫院許多高中級的醫療級設備，都需要有人維護管理。因此醫工所也是有意義的方向。
所幸今年資工系與電機系已經開始與醫學院合作，成立醫療電子與醫學資訊碩士學位學程，應該可以先打頭陣，開始逐步培養相關人材。
另外，醫院資訊部門的資訊機房建置是甚為關鍵的基礎硬體建設，在光纖網路與異地備援等2個重要觀念上，都要及早開始規劃，甚至應該在醫院大樓的建築藍圖設計時，就開始著手規劃。
另外，醫療資訊系統以資通訊（ICT）概念來講，可以切分為資訊與通訊兩大部分。資訊就是在電腦軟硬體方面，我個人戲稱為HIS的大腦。網路建置包含光纖與無線網路為通訊部份，則是神經。光纖為中樞神經，無線網路為末稍神經，都一樣重要。神經能將資料快速傳送到大腦，足夠的資訊才能進行資訊決策。
但最重要的一點，是要凸顯特色。新醫院雖然萬事起頭難，但比起既有醫院其優勢是沒有包袱，若能及早制訂其發展特色，則其實大有可為。
在醫學方面的特色，輔大早有公論：朝老人醫學方向發展，成為輔大醫學院與醫院的特色。
但是在資訊電子方面的特色呢？我個人認為要結合目前的國家發展方向與資訊電子科技方向。以我個人的看法，有3個特色方向可以思考：
1.Patient Care: 近來國際上醫療的發展，已經從傳統醫療觀念走向Patient Centered的醫療照護(請參考另一篇部落格文章[1])；此外，醫療照護已經為政府訂定的「六大新興產業」之一。在此方向的發展往Patient Care提供服務，方能與國家政策接軌。Patient Care的資通訊可以再分為Medical care與Health care兩個部份。看來在輔大附設醫院的建置過程中，可能先僅先思考Medical care，也就是在醫院建築內建置以病人為中心的醫療照護科技；至於在醫院外的健康照護科技，則會是較低的建置Priority。
2.智慧醫療、智慧醫院：醫院與醫療具有智慧，其實包含很多層面，以加入RFID與無線網路為例，就可以做到智慧化的醫材管理、與行動護理等應用。目前台灣很多醫院僅一點點的在嘗試，輔大附設醫院若能直接訂立此特色目標向前邁進，則甚有可為。另外，搭配政府97年定案的「智慧台灣」計畫[2]，以及99年行政院訂定的「四大智慧型產業」[3]，其中的「智慧綠建築」與雲端運算子計畫的的「智慧醫療」，都足以提供相關的產業技術發展能量，來作為輔大附設醫院的後盾。
3.雲端醫療：建構醫療雲，在我看來已經是許多雲端運算服務公司的主軸規劃之一，例如中華電信、IBM、微軟、Intel等，都有大規模的雲端運算以建立醫療雲。雖然目前還沒有聽到成功的醫療雲案例，但應該值得輔大附設醫院來思考並朝此邁進。
我之前已經有2篇文章談到雲端運算[4,5]。日後擬另外闢文來談智慧醫療、智慧醫院與雲端醫療。
[1] 資通訊技術與醫療照護，王元凱，2010/10/4.
[2] 智慧台灣計畫網站，行政院。
[3] 四大智慧型產業，行政院。
[4] 雲端運算，王元凱，2010/10/10.
[5] VSaaS，王元凱，2010/10/10.
輔仁大學已經經過董事會通過要成立輔大附設醫院，並將於104年完工開始運作。目前已經開始找到醫院用地，就在輔大旁邊；並已經開始著手規劃輔大附設醫院的建築藍圖，並已經尋找各種顧問群，如醫療、資訊顧問等。據聞顧問群約百餘人。
在醫療資訊系統(HIS)的發展上，看來真是龐大的工程，是一個大型的資訊軟硬體整合系統，從門急診、住院、醫療業務、醫務行政、通報系統、電子病歷、醫療照護、健康照護、藥品衛材採購、數位叫號系統、健保IC卡、RFID等，都要整合在一起。
雖然說目前醫療資訊系統已經有成熟的套裝系統可供採購並導入使用，但是看來還有許多發展的空間，如Nursing System、無紙化（電子公文與整套完整之電子病歷）、掛號看診系統等，都仍有發展的空間。
此外，醫院的資訊部門，也有人才不足的窘境，要聘請高品質的資訊人材來撰寫醫院本身相關的客制化軟體，一直都有人手不足的困難。究其因在於資訊專業人材喜於到高科技專業公司工作，一方面薪水高、二方面同儕學習環境完整，因此在醫院的環境要聘請純粹的軟體開發高手，的確有其困難。
因此，輔仁大學資訊相關系所，也許有必要規劃如何輔助人材培育。從資工系、資管系兩系來思考都是可行方式。另外，在醫工領域，除了資訊之外還包含醫學電子設備的人材，醫院許多高中級的醫療級設備，都需要有人維護管理。因此醫工所也是有意義的方向。
所幸今年資工系與電機系已經開始與醫學院合作，成立醫療電子與醫學資訊碩士學位學程，應該可以先打頭陣，開始逐步培養相關人材。
另外，醫院資訊部門的資訊機房建置是甚為關鍵的基礎硬體建設，在光纖網路與異地備援等2個重要觀念上，都要及早開始規劃，甚至應該在醫院大樓的建築藍圖設計時，就開始著手規劃。
另外，醫療資訊系統以資通訊（ICT）概念來講，可以切分為資訊與通訊兩大部分。資訊就是在電腦軟硬體方面，我個人戲稱為HIS的大腦。網路建置包含光纖與無線網路為通訊部份，則是神經。光纖為中樞神經，無線網路為末稍神經，都一樣重要。神經能將資料快速傳送到大腦，足夠的資訊才能進行資訊決策。
但最重要的一點，是要凸顯特色。新醫院雖然萬事起頭難，但比起既有醫院其優勢是沒有包袱，若能及早制訂其發展特色，則其實大有可為。
在醫學方面的特色，輔大早有公論：朝老人醫學方向發展，成為輔大醫學院與醫院的特色。
但是在資訊電子方面的特色呢？我個人認為要結合目前的國家發展方向與資訊電子科技方向。以我個人的看法，有3個特色方向可以思考：
1.Patient Care: 近來國際上醫療的發展，已經從傳統醫療觀念走向Patient Centered的醫療照護(請參考另一篇部落格文章[1])；此外，醫療照護已經為政府訂定的「六大新興產業」之一。在此方向的發展往Patient Care提供服務，方能與國家政策接軌。Patient Care的資通訊可以再分為Medical care與Health care兩個部份。看來在輔大附設醫院的建置過程中，可能先僅先思考Medical care，也就是在醫院建築內建置以病人為中心的醫療照護科技；至於在醫院外的健康照護科技，則會是較低的建置Priority。
2.智慧醫療、智慧醫院：醫院與醫療具有智慧，其實包含很多層面，以加入RFID與無線網路為例，就可以做到智慧化的醫材管理、與行動護理等應用。目前台灣很多醫院僅一點點的在嘗試，輔大附設醫院若能直接訂立此特色目標向前邁進，則甚有可為。另外，搭配政府97年定案的「智慧台灣」計畫[2]，以及99年行政院訂定的「四大智慧型產業」[3]，其中的「智慧綠建築」與雲端運算子計畫的的「智慧醫療」，都足以提供相關的產業技術發展能量，來作為輔大附設醫院的後盾。
3.雲端醫療：建構醫療雲，在我看來已經是許多雲端運算服務公司的主軸規劃之一，例如中華電信、IBM、微軟、Intel等，都有大規模的雲端運算以建立醫療雲。雖然目前還沒有聽到成功的醫療雲案例，但應該值得輔大附設醫院來思考並朝此邁進。
我之前已經有2篇文章談到雲端運算[4,5]。日後擬另外闢文來談智慧醫療、智慧醫院與雲端醫療。
[1] 資通訊技術與醫療照護，王元凱，2010/10/4.
[2] 智慧台灣計畫網站，行政院。
[3] 四大智慧型產業，行政院。
[4] 雲端運算，王元凱，2010/10/10.
[5] VSaaS，王元凱，2010/10/10.
2010年11月8日 星期一
Sousveillance v.s. Surveillance
近日我們ISLab實驗室的同學提出X-Eye，除了在2010年全國資通訊比賽得獎外，也將於2011年SPIE EI研討會發表一篇論文。我在研究X-Eye與Wearable Vision的文獻過程中，發現這個研究雖然發展二十餘年，但一直沒有固定的關鍵字。後來在Wiki看到Sousveillance[1]，覺得是個很不錯的字，因此特別撰文來探討。
要談Sousveillance，要先從Video Surveillance談起。Video Surveillance與Visual Surveillance是這幾年電腦視覺一個熱門的研究題目，從物件偵測/追蹤/辨識、事件偵測辨識、行為分析、視訊摘要查詢等，都是重要的研究方向。但基本上這是一種「監控」人類的觀念，將攝影機置於人類的周圍環境，以分析理解人類的行為模式。雖然在公共安全上是一個不錯的應用，但是以人權與隱私的概念來看，其實頗有爭議。
因此若反過來將攝影機放在人類身上，以第一人稱角度來攝影周圍環境，則頗有自我保護的意味。因此2001年開始有WSD（World Sousveillance Day）[2-5]的活動與聯盟，Sousveillance又可稱之為反監控(Inverse Surveillance)，該聯盟堅稱每個人有權利進行反監控的行為，以保護自己。因此將攝影機放在身上，當有警察上門盤詢，則可以照相存證，以防萬一；當開車遇到車禍事端，則拍照以防萬一等等。
從字面上來比較Sousveillance與Surveillance，也可以明顯看出兩者的相對關係。兩個字的字首sous-與surv-分別是法語中的below與above的字義。Surveillance意義為Eye-in-the-sky，而Sousveillance則為Camera-in-the-human。因此sousveillance與surveillance分別可以想像成監控與反監控的相對意涵。
將攝影機掛在身上，應該不稀奇。但若結合Wearable Computer成為Wearable Vision與Augmented Reality，則就有非常多的應用，如旅遊導覽、打撞球、登山、生活日誌等。這樣的電腦視覺分析已經成為一個重要的研究方向，並在CVPR 2009年成立一個Egocentric Vision Workshop[6]，專門討論相關的電腦視覺技術理論。
另外，我們以可以從Camera View的角度來區分兩者：Sousveillance是Egocentric View，而Surveillance則是Exocentric View。
Steve Mann有一篇論文[7]，專門在探討如何透過Wearable Computing Devices，來達到反監控(Inverse Surveillance)，並正式定名Sousveillance。Steve Mann並又在Wiki正式定義Sousveillance的意義[1]，可見其有意要推廣Sousveillance成為Wearable Viiosn/Egocentric Vision的代名詞。
CVPR2009用的Egocentric Vision乃沿用電腦視覺常見的Ego-字首，如Egomotion，這是指攝影機會移動時（如機器人視覺所使用的攝影機），所需要的視覺計算演算法。因此在電腦視覺的傳統上比較常用Ego-字首。
但Ego字首在字義上卻有負面的意義：自我。Egocentric的單字其實是「以自我為中心」的意思。
以我個人的看法，我傾向於採用Steve Mann於Wiki[1]提出的觀點：以Sousveillance單字來當作Wearable Vision與Egocentric Vision的關鍵字。
文後附上我這一年來有關於Intelligent Video Surveillance and Sousveillance的一份演講稿[8]，供對於本文有興趣的人參考。該演講稿包含有關於Surveillance與Sousveillance(X-Eye)的基本研究現況，此外對於我與ISLab同學這幾年來研究成果也有一些介紹。
[1] Sousveillance, Wikipedia.
[2] World Surveillance Day, Wikipedia.
[3] Sousveillance, J. Hofman, New York Times, 2006.
[4] Sousveillance-The Art of Inverse Surveillance, Feb. 8-9, 2009, Denmark.
[5] 世界Sousveillance日，WorldLingo.
[6] First Workshop on Egocentric Vision, 2009.
[7] Steve Mann, Jason Nolan and Barry Wellman. Sousveillance: Inventing and Using Wearable Computing Devices for Data Collection in Surveillance Environments. Surveillance & Society 1(3): 331-355
[8] Intelligent Video Surveillance and Sousveillance, Yuan-Kai Wang, 2010.
要談Sousveillance，要先從Video Surveillance談起。Video Surveillance與Visual Surveillance是這幾年電腦視覺一個熱門的研究題目，從物件偵測/追蹤/辨識、事件偵測辨識、行為分析、視訊摘要查詢等，都是重要的研究方向。但基本上這是一種「監控」人類的觀念，將攝影機置於人類的周圍環境，以分析理解人類的行為模式。雖然在公共安全上是一個不錯的應用，但是以人權與隱私的概念來看，其實頗有爭議。
因此若反過來將攝影機放在人類身上，以第一人稱角度來攝影周圍環境，則頗有自我保護的意味。因此2001年開始有WSD（World Sousveillance Day）[2-5]的活動與聯盟，Sousveillance又可稱之為反監控(Inverse Surveillance)，該聯盟堅稱每個人有權利進行反監控的行為，以保護自己。因此將攝影機放在身上，當有警察上門盤詢，則可以照相存證，以防萬一；當開車遇到車禍事端，則拍照以防萬一等等。
從字面上來比較Sousveillance與Surveillance，也可以明顯看出兩者的相對關係。兩個字的字首sous-與surv-分別是法語中的below與above的字義。Surveillance意義為Eye-in-the-sky，而Sousveillance則為Camera-in-the-human。因此sousveillance與surveillance分別可以想像成監控與反監控的相對意涵。
將攝影機掛在身上，應該不稀奇。但若結合Wearable Computer成為Wearable Vision與Augmented Reality，則就有非常多的應用，如旅遊導覽、打撞球、登山、生活日誌等。這樣的電腦視覺分析已經成為一個重要的研究方向，並在CVPR 2009年成立一個Egocentric Vision Workshop[6]，專門討論相關的電腦視覺技術理論。
另外，我們以可以從Camera View的角度來區分兩者：Sousveillance是Egocentric View，而Surveillance則是Exocentric View。
Steve Mann有一篇論文[7]，專門在探討如何透過Wearable Computing Devices，來達到反監控(Inverse Surveillance)，並正式定名Sousveillance。Steve Mann並又在Wiki正式定義Sousveillance的意義[1]，可見其有意要推廣Sousveillance成為Wearable Viiosn/Egocentric Vision的代名詞。
CVPR2009用的Egocentric Vision乃沿用電腦視覺常見的Ego-字首，如Egomotion，這是指攝影機會移動時（如機器人視覺所使用的攝影機），所需要的視覺計算演算法。因此在電腦視覺的傳統上比較常用Ego-字首。
但Ego字首在字義上卻有負面的意義：自我。Egocentric的單字其實是「以自我為中心」的意思。
以我個人的看法，我傾向於採用Steve Mann於Wiki[1]提出的觀點：以Sousveillance單字來當作Wearable Vision與Egocentric Vision的關鍵字。
但我認為Sousveillance這個單字本身還沒有加入電腦視覺分析的概念，因此應採用Visual Sousveillance，Smart Video Sousveillance，或Intelligent Video Sousveillance作為關鍵字，以代表「電腦視覺＋Camera-In-The-Human」的結合意義。
Egocentric單字，我個人認為可以作為View的差異化說法，也就是以Egocentric View與Exocentric View兩個詞，來說明Surveillance與Sousveillance的攝影角度差異。
Egocentric單字，我個人認為可以作為View的差異化說法，也就是以Egocentric View與Exocentric View兩個詞，來說明Surveillance與Sousveillance的攝影角度差異。
文後附上我這一年來有關於Intelligent Video Surveillance and Sousveillance的一份演講稿[8]，供對於本文有興趣的人參考。該演講稿包含有關於Surveillance與Sousveillance(X-Eye)的基本研究現況，此外對於我與ISLab同學這幾年來研究成果也有一些介紹。
[1] Sousveillance, Wikipedia.
[2] World Surveillance Day, Wikipedia.
[3] Sousveillance, J. Hofman, New York Times, 2006.
[4] Sousveillance-The Art of Inverse Surveillance, Feb. 8-9, 2009, Denmark.
[5] 世界Sousveillance日，WorldLingo.
[6] First Workshop on Egocentric Vision, 2009.
[7] Steve Mann, Jason Nolan and Barry Wellman. Sousveillance: Inventing and Using Wearable Computing Devices for Data Collection in Surveillance Environments. Surveillance & Society 1(3): 331-355
[8] Intelligent Video Surveillance and Sousveillance, Yuan-Kai Wang, 2010.
訂閱：
文章 (Atom)