智能眼鏡在醫(yī)療領(lǐng)域的應(yīng)用和改進(jìn)

 關(guān)于智能眼鏡在醫(yī)療行業(yè)的應(yīng)用，我們最早是從關(guān)注谷歌眼鏡的醫(yī)學(xué)視頻直播開始的。谷歌眼鏡的問(wèn)世，曾帶來(lái)一片叫好聲，感覺能夠給大家?guī)?lái)一個(gè)全新的直播時(shí)代。但最近兩年，谷歌眼鏡用于醫(yī)學(xué)方面直播的文章幾乎消失了，甚至谷歌眼鏡本身都已經(jīng)停產(chǎn)。

當(dāng)時(shí)，谷歌眼鏡出來(lái)后，我們也買了一個(gè)，并做了很多實(shí)際的相關(guān)實(shí)驗(yàn)，發(fā)現(xiàn)了一些問(wèn)題，包括：一是續(xù)航問(wèn)題;二是谷歌眼鏡作為一款消費(fèi)類產(chǎn)品，在應(yīng)用于手術(shù)直播時(shí)，周圍會(huì)有一個(gè)很大的無(wú)用視野區(qū);三是在手術(shù)燈照射的情況下，直播時(shí)中心區(qū)域一片死白，而這一塊恰好是我們最關(guān)注、最有興趣的點(diǎn)?；谝陨显?，我們后來(lái)沒有再繼續(xù)利用谷歌眼鏡做醫(yī)療直播。

之后，在英特爾公司的幫助下，我們又先后接觸了一些廠家。因我是臨床醫(yī)師出身，始終認(rèn)為記錄直播和轉(zhuǎn)播對(duì)于臨床醫(yī)學(xué)具有非常重要的作用，所以一直在堅(jiān)持不懈的尋找適合的相關(guān)產(chǎn)品。后來(lái)拿到一家公司的產(chǎn)品，看上去和谷歌眼鏡很像，于是提出是否能從上面提到的幾個(gè)方面進(jìn)行改進(jìn)。

具體改進(jìn)措施包括：首先，我們認(rèn)為醫(yī)生在長(zhǎng)時(shí)間待用過(guò)程中，如果這個(gè)產(chǎn)品很重，會(huì)讓醫(yī)生感覺非常不舒服，因此希望佩戴在醫(yī)生頭頂?shù)臇|西越輕越好?；诖?，對(duì)產(chǎn)品改進(jìn)的第一步就是，除攝像頭及其虛擬顯示屏這兩個(gè)功能以外，剩下的計(jì)算元件、電池等其他東西都被放到一個(gè)附屬裝置上。也就是說(shuō)，它真正的應(yīng)用是跟另外一個(gè)手機(jī)聯(lián)系在一起，由手機(jī)進(jìn)行供電。這樣，醫(yī)生在把眼鏡戴在頭上時(shí)，幾乎不會(huì)感覺到它的存在。

第二個(gè)問(wèn)題是原有谷歌眼鏡在使用過(guò)程中，因?yàn)橛?jì)算機(jī)進(jìn)行了一個(gè)測(cè)算，所以平均以后，中心視野光線太亮導(dǎo)致一片死白的情況。解決方案是對(duì)計(jì)算機(jī)進(jìn)行一個(gè)算法的改進(jìn)，也就是說(shuō)，原先的大視野最后只保留了中心的一個(gè)區(qū)域，進(jìn)行一個(gè)點(diǎn)測(cè)光。在這個(gè)點(diǎn)測(cè)光過(guò)程中，計(jì)算機(jī)算法進(jìn)行改進(jìn)，最終的效果就是只有最核心的區(qū)域進(jìn)入計(jì)算單元。這樣，太強(qiáng)的光線部分通過(guò)算法就可以把原有的過(guò)白部分的光亮度降下來(lái)，讓醫(yī)生能夠看到真正的視野中的細(xì)節(jié)。在實(shí)踐過(guò)程中，通過(guò)改進(jìn)計(jì)算機(jī)算法，使視野從原有的90度縮窄到45度、30度、20度。在視野縮小后，有兩個(gè)明顯的改善：一是減少了之前過(guò)量的光線，從而獲得原來(lái)沒有的細(xì)節(jié);另外就是我們?cè)谛庐a(chǎn)品試用時(shí)發(fā)現(xiàn)，人眼看物體是有景深的，作為口腔科，關(guān)注的核心點(diǎn)是口腔里的牙齒，但眼鏡會(huì)把周圍的皮膚照的很清楚，遠(yuǎn)處的牙齒則發(fā)生了模糊，原因就是對(duì)焦發(fā)生了錯(cuò)誤。而當(dāng)我們通過(guò)計(jì)算機(jī)把視野縮窄到足夠小時(shí)，對(duì)焦相對(duì)就會(huì)精確很多。

此外，此款眼鏡的分體式設(shè)計(jì)，也解決了供電問(wèn)題?，F(xiàn)有情況下，持續(xù)拍攝兩個(gè)小時(shí)沒有任何問(wèn)題。

該產(chǎn)品和谷歌眼鏡一樣，有一個(gè)小的虛擬屏幕放在眼球前方，好處是在拍攝使用過(guò)程中，可以隨時(shí)查看錄像的位置是否是我們真正想觀察的地方。

使用過(guò)程中發(fā)現(xiàn)的另外一個(gè)問(wèn)題是，到底由誰(shuí)來(lái)戴這個(gè)眼鏡?我曾經(jīng)以為應(yīng)該是第一助手或是其他人來(lái)辦。后來(lái)在使用過(guò)程中發(fā)現(xiàn)，實(shí)際上還是應(yīng)該由術(shù)者來(lái)控制，因?yàn)橹挥行g(shù)者才能夠看到很小的手術(shù)區(qū)域里面的細(xì)節(jié)，包括第一助手站在對(duì)面的時(shí)候，很可能也看不到視野里面。

此款眼鏡可以看到攝像頭能夠在某一個(gè)角度范圍內(nèi)旋轉(zhuǎn)，使我們可以更好的去控制最后直播出來(lái)的畫面。最好的效果就是固定住術(shù)者頭上，然后不需要任何人去做任何工作，整個(gè)過(guò)程中和術(shù)者的眼睛看到的景象一模一樣。其中還有一個(gè)地方需要進(jìn)行改進(jìn)，就是頭戴的方式。目前，常見的方式還是一種類似于鏡架式的方式。但例如耳鼻喉科醫(yī)生會(huì)在頭上戴一個(gè)專門看耳道的鏡子，戴一天也不會(huì)覺得很難受;整形外科醫(yī)生，做血管吻合的醫(yī)生，都會(huì)戴一個(gè)專用的顯微鏡，對(duì)于醫(yī)生來(lái)說(shuō)，如果把眼鏡架的方式轉(zhuǎn)變?yōu)橐环N戴在頭上的發(fā)帶形式，效果會(huì)更好。頭戴式的可能要解決術(shù)者確認(rèn)拍攝畫面是否正確的問(wèn)題。因?yàn)樗梢怨潭ǖ姆浅＠喂?，確保在轉(zhuǎn)播過(guò)程中，位置不會(huì)隨便發(fā)生改變，但在術(shù)者使用過(guò)程中，現(xiàn)在的鏡架式會(huì)發(fā)生視野逐漸偏離的情況，最終導(dǎo)致拍攝效果不佳，這也是我們提出由眼鏡架改為發(fā)帶式的原因之一。

之前我們進(jìn)行了一個(gè)現(xiàn)場(chǎng)的長(zhǎng)時(shí)間拍攝。無(wú)論從門診醫(yī)生還是手術(shù)病房醫(yī)生反饋，都認(rèn)為拍攝視頻的畫面不錯(cuò)，1080P顏色還原也不錯(cuò)，流暢度和清晰度也非常好。外科主任希望將來(lái)對(duì)常規(guī)的手術(shù)都進(jìn)行一場(chǎng)標(biāo)準(zhǔn)手術(shù)模式的拍攝。這樣的效果，是教學(xué)醫(yī)院最想做的?，F(xiàn)場(chǎng)拍攝過(guò)程中，我們的醫(yī)生遠(yuǎn)離去看手機(jī)上的屏幕。因?yàn)樵谑中g(shù)過(guò)程中，除了主刀醫(yī)生，一些比較小型的手術(shù)周圍所有人的視野都非常受限。所以可以想象，圍著一圈學(xué)生去觀摩手術(shù)時(shí)效果有多差。

目前使用的這一版眼鏡，現(xiàn)有的問(wèn)題主要有哪些呢?主要還是來(lái)自于剛才說(shuō)到的景深導(dǎo)致的對(duì)焦模糊問(wèn)題。我們關(guān)注的是牙齒，但焦點(diǎn)落在了皮膚上。這個(gè)當(dāng)然可以通過(guò)算法再進(jìn)行一個(gè)優(yōu)化，但這樣的問(wèn)題可能或多或少不可避免。因?yàn)橥瑯邮峭翱?，?jì)算機(jī)并不知道你的眼睛目前對(duì)在哪一個(gè)點(diǎn)上。而一旦這個(gè)角度變得更加舒展的時(shí)候，隨著醫(yī)生手術(shù)時(shí)頭轉(zhuǎn)來(lái)轉(zhuǎn)去，采集的圖像也會(huì)大幅移動(dòng)，給觀者帶來(lái)不舒服的感覺。我們的醫(yī)生曾提出有沒有手動(dòng)對(duì)焦的可能，當(dāng)然手動(dòng)對(duì)焦是不現(xiàn)實(shí)的，因?yàn)槟愕木嚯x始終是在變化過(guò)程中，最好的做法只能是繼續(xù)優(yōu)化算法。無(wú)論如何，目前這一版眼鏡在我們采集視頻的過(guò)程中，總體還是感覺相當(dāng)滿意的，尤其是視野比較大的手術(shù)，高清的視頻放在電腦上感覺效果更好。

上面這張手術(shù)照片是從一段視頻里隨機(jī)取的一張，拍攝時(shí)是站在一助身后進(jìn)行的。目前存在的一個(gè)問(wèn)題是顏色會(huì)有一點(diǎn)粉，這是因?yàn)榘灼胶獬隽藛?wèn)題，通過(guò)簡(jiǎn)單算法的一個(gè)均衡很快就能改善。算法的另外一個(gè)需要改進(jìn)的地方，我認(rèn)為是目前圖像的對(duì)比度仍然太大，對(duì)于強(qiáng)光視野下的這種拍攝會(huì)出現(xiàn)一會(huì)黑色一會(huì)白色的情況。這個(gè)隨著算法的改進(jìn)以及將來(lái)機(jī)器性能的提升，只要算法速度足夠快，能把這個(gè)問(wèn)題解決好。

對(duì)于眼鏡類產(chǎn)品，希望出現(xiàn)一種更新的產(chǎn)品，類似于相機(jī)拍攝過(guò)程中摁住快門，有一種智能追焦的算法，就像舞臺(tái)上跟著舞者進(jìn)行一個(gè)舞臺(tái)追光的感覺。也就是說(shuō)，我們通過(guò)圖像識(shí)別找到目前轉(zhuǎn)播的焦點(diǎn)，無(wú)論相機(jī)在什么位置，都能夠快速的計(jì)算，把焦距對(duì)清楚。即使手術(shù)醫(yī)生的頭轉(zhuǎn)來(lái)轉(zhuǎn)去，它的圖像始終固定下來(lái)。我想這種技術(shù)的發(fā)展是很快的，也可以預(yù)計(jì)到一定會(huì)有這一天來(lái)到。目前，把視野縮窄達(dá)到對(duì)焦更精確這個(gè)功能通過(guò)計(jì)算機(jī)的算法實(shí)現(xiàn)了。將來(lái)還是希望，對(duì)口腔科、眼科這種比較小視野的手術(shù)，能有一種更特殊的光學(xué)物理眼鏡，專門用于這種小視野直播。