國立陽明交通大學
口腔醫學研發創新中心
Oral Medicine Innovation Center (OMIC)

研究方向 - 延展實境

設立宗旨

自1900年代迄今，將「數位」之概念應用於醫學領域研究文獻，正以驚人的幅度成長，顯見數位醫學已成為全世界的研究趨勢。截至2023年3月止，若以 “digital” 為關鍵字鍵入，可發現目前約有220,000篇相關研究文獻被發表，其發表之篇數隨年度遞增，顯示數位醫學為目前全世界研究主流之一。另一方面，因應COVID-19疫情因素，全球於2020年開始，利用遠距醫療執行臨床相關事務的需求便已大幅增加。另一方面，以AR/VR技術來作為基礎發展醫療相關產業也已經開始被廣泛接受。事實上，「客製化患者虛擬治療平台」亦是數位映射(digital twin)一詞的原始雛形。“Digital twin” 之概念為建立標的物本身的數位分身，並透過已存在於虛擬世界的「雙胞胎 (twin)」，來顯示現實世界中的物體可能的反應、狀況或是參數…等。與過去單純數位模型不同的是，digital twin定義下的虛擬模型與現實環境的標的物彼此是具備連結性的，且這樣的連結性是藉由即時的感知器 (sensor) 回傳資料，再透過一連串的處理、分析、判斷後，使虛擬模型能產生回饋，進而優化標的物並增加虛擬模型本身的價值，而此類的概念也已連續三年被著名的資訊科技研究單位「Gartner」評選為未來全球十大科技之一。本中心研究團隊認為數位轉型技術於醫療領域之應用即是以 “Digital twin”之概念往下延伸發展出的領域。而此類以 “Digital twin”之概念創建而生的「客製化患者虛擬治療平台」，便需要許多客製化、精準、便於理解的三維數位模型來輔助解說，因此，擴增實境 (augmented reality, AR)、虛擬實境 (virtual reality, VR) 及混和實境 (mixed reality, MR) 技術的綜合體，延展實境 (extended reality, XR)技術便開始被提出，相較於單純以全虛擬環境呈現的AR技術及無法與環境互動，僅能以三維模型呈現於螢幕上的AR技術相比，MR技術結合了AR/VR技術的優點，使得呈現出來的數位三維模型具備了與空間互動的能力。事實上，研究團隊認為若要真正執行完美、眾人想像中的「客製化患者虛擬治療平台」虛實整合實境技術，應是集合了AR/VR/MR三種技術而衍伸的XR技術，其能以更貼近真實世界的方式呈現三維數位模型並與真實環境進行互動。

具體目標

（1）行動式擴增實境 (mobile extended reality, MXR) 之技術簡介及目前應用針對上述的問題，研究團隊認為，雖然目前關於擴增實境 (augmented reality, AR) 及虛擬實境 (virtual reality, VR) 之研究甚多，但此技術目前仍然有部分限制的存在，舉例來說 AR/VR 的技術目前大部分皆需要使用相對用之數位電子設備及穿戴式裝置方能有效執行 AR/VR 技術，其可能存在場域限制之問題或是因於AR/VR設備價位昂貴之因素之緣故，進而導致無法將 AR/VR 技術有效地被普及化使用。另一方面，對於一般大眾來說，隨身攜帶型智慧行動裝置已經是生活不可或缺的一部分，行動裝置讓使用者無論身在何處，皆可以輕鬆操作且方便攜帶。另一方面，除了小型的攜帶型智慧行動裝置外，大多數的平板電腦在設計上也逐漸發展成行動裝置的一種，它重量輕盈，顯示器較大更適合長時間使用、在操作上更具直覺性，幾乎所有的大眾都能從容上手。另一方面，隨著技術的衍進，結合擴增實境 (AR)、虛擬實境 (VR) 及混和實境 (MR) 技術的延展實境 (XR) 技術開始被提出，相較於單純以全虛擬環境呈現的 AR 技術及無法與環境互動，僅能以三維模型呈現於螢幕上的 AR 技術相比，MR 技術結合了 AR/VR 技術的優點，使得呈現出來的數位三維模型具備了與空間互動的能力。事實上，研究團隊認為若要真正執行完美、眾人想像中的虛實整合實境技術，應是集合了AR/VR/MR 三種技術而衍伸的 XR 技術，其能以更貼近真實世界的方式呈現三維數位模型並與真實環境進行互動。為了能使評審委員更能體會其差異，研究團隊特別利用同一模型製作了 AR/MR/XR 技術的差別比較 (圖二)。同樣的顱骨/臉部肌群之數位模型利用 MAR 技術呈現時，可以看到 AR mode 下，其模型在旋轉觀察時，可以觀察到顱骨頭夾肌 (Splenius capitis muscle) 位置 (圖二A ，紅色圓框)，若是直接將手機移至實際物體時，可以觀察到其數位模型雖然已經定位在相對位置上，但其顱骨頭夾肌 (Splenius capitis muscle) 位置依然無法與實際物體 (灰色三維列印之顱骨模型) 互相作用 (圖二A)。為了解決此一問題，研究團隊嘗試利用 MMR 技術，讓模型與空間互動。在 MMR 模式下，雖然模型已經可以定位在 QR code 辨識圖上，但仍然有顱骨頭夾肌無法與實際物體互相作用之問題，僅能以外加另一個顱骨虛擬模型 (白色數位顱骨模型) 的方式，來呈現頭夾肌 (圖二B，綠色圓框) 避免數位模型影像無法與實際物體互相作用之問題 (圖二B)。若是進一步利用新開發之 MXR 技術，則可看到顱骨肌肉三維數位模型可完全與實際物體 (灰色三維列印之顱骨模型) 進行互動，除了能定位在對的位置外，以可在轉動模型時觀察到頭夾肌會依照模型轉動的過程而消失或出現 (圖二C，藍色圓框)。關於AR/MR/XR技術之呈現，可利用手機掃描圖二D QR code觀賞。

綜上所述，透過行動裝置搭配 XR 技術衍生出的行動式延展實境 (mobile extended reality, MXR)之相關技術開始被重視。與 AR/VR/MR 技術強調利用穿戴式裝置執行極度逼真場域之目標較為不同的是，MXR 更重視實際使用之方便程度及如何使所有的大眾皆能接受 MAR 並廣泛且普及化的進行運用。MXR 的優勢在於可以在任何地方體驗 AR/VR/MR 的應用程式 (app)，不侷限於特定位置，而是可以隨時隨地的體驗延展實境，實際做到虛擬影像與實際標的物的虛實整合環境。