光場技術：給人類打開一個全新視界

　　前不久，在嘉興召開的2017國際VR/AR技術與產業大會上，疊境數字科技（上海）有限公司創始人、上海科技大學虞晶怡教授利用虛擬現實領域的一項全新技術——光場技術，將同會的外籍嘉賓栩栩如生地展現在手機上，引起了全場熱議。

　　光場技術模擬人眼，是介于建模和計算機渲染之間的技術。在光場技術構建的場景里，用戶可以走動，從不同的角度和距離觀察事物。最重要的是，光場技術還能再現物體的光澤和材質。因其真實性遠超國內主流技術，虞晶怡認為這是目前還原物體真實性唯一的方法。

　　虞晶怡篤定地說：“光場技術將成為VR/AR行業的投資焦點。”

　　國內VR行業在“吃老本”

　　“嚴格來說，國內VR領域的企業缺乏核心技術。”談及技術，虞晶怡毫不留情地說。

　　目前，VR內容制作主要有兩種主流方法：一是利用全景相機拍攝360度視頻，即360度環拍技術；二是利用更加高端的軟件建模技術，利用計算機工具打造更具沉浸感的VR游戲或視頻。但在虞晶怡看來，這些都不是VR內容制作最理想的方法。

　　大約20年前，出現了一種影響深遠的虛擬現實技術，叫做QuickTime VR。這項技術很簡單：拿手機拍一圈，把照片拼成一個360度的圖片，現在手機上就能實現這個功能。“現在市面上很多做虛擬現實的公司就是用的這樣的技術！1996年的技術！”

　　“360度環拍技術最大的問題就是無法實現動態視覺。”虞晶怡解釋說，人眼重疊的區域特別大，在重疊區域里，由于左眼和右眼看到的東西一樣，就會形成動態的視野，這就是人眼的3D識別。然而，360度環拍技術無法實現這一功能。

　　早在1995年，蘋果就發布了一款主要拍攝360度圖片的QuickTime VR相機。虞晶怡也于1999年創業試圖將QuickTime VR相機的技術運用到旅游上，并用360度環拍技術拍攝了拉斯維加斯賭場等地的全景照片，但最后卻發現做出來的全景照片并不怎么吸引人。虞晶怡認為這個問題到今天依然存在。

　　同樣，軟件建模技術雖然更加高端，但不夠真實的缺點依然存在。現在很多虛擬現實應用場景，如VR看房，都是采用三維建模實現的——需要先建模、貼“皮膚”以及大量的人工，而且不可能做到非常精細，導致最后的效果相當粗糙。

　　模擬人眼，所見即所得

　　什么是光場技術？虞晶怡舉了個例子：“人眼就是兩個天然的光場捕捉器。”人眼觀看3D世界覺得真實，是因為雙目視覺看到的是立體而非平面圖像，在三維空間圍繞觀看可實現360度的視覺構建，而且人眼具有對焦功能。

　　人眼之所以能夠實現這些復雜的功能，是因為人眼采集光線空間。而光場技術就是把人眼看到的光線空間采集下來，再將光線進行重組，可以讓虛擬現實模擬出人眼基于距離對物體聚焦、移動的效果，捕捉光線信息，重現三維世界。

　　疊境科技用廣角攝像頭模擬人眼，只不過不是兩個攝像頭，而是由至少上百個攝像頭組成的相機矩陣。典型的中型場景光場拍攝方案，是由140個相機（包括80個靜態相機和60個動態相機）組成的對內環拍攝影系統，可以從任意角度對物體進行拍攝。

　　拿一堆相機拍攝的時候，一個最大的問題就是遮擋。因為遮擋，哪怕140個相機對一個人物進行環拍，也不足以呈現人物的全部。“同樣，人的眼睛不光有幾何，還能看到材質。這些材質信息是超越幾何的。”人之所以能夠判斷材質，原理還是光場。當轉動腦袋和雙眼的時候，物體上面的光發生了變化，光的信息蘊含了材質的信息。

　　如何解決這些問題？疊境科技的方案是為“眼睛”配備一個“大腦”。借助計算機視覺和深度學習，把每一幀的時空信息集合在一起，就可以產生非常好的3D重現效果。同樣借助深度學習，模仿人類判斷材質的學習方式，大量采樣，經算法處理呈現出材質特征。

　　另一方面，疊境科技多攝像頭的數據采集方式也帶來了海量的數據。如何才能以最快的速度處理完這些海量數據，便成了相機矩陣光場技術最大的技術門檻。據虞晶怡透露，疊境科技研發的光場數據壓縮技術，已經可以將1.5G的數據壓縮到30M左右。

　　僅一年時間，疊境科技就建立了一整套以光場采集、捕捉、顯示為核心的VR/AR解決方案，可制作物體和動態人物的360度3D光場采集、建模和渲染以及光場VR/AR內容生成，向內環視和向外環視360度3D視頻直播。將全球最頂尖的光場技術引入到虛擬現實領域，很大程度上解決了虛擬現實體驗差的問題，給虛擬現實行業帶來了巨大的變革。

　　國內應用步步展開

　　應用方面，疊境科技的光場技術首先可以用于三維建模。相比傳統的建模方案，疊境科技采集了真實物體的光線信息，所建立的三維模型更加真實。目前，該技術已經在上海博物館、淘寶“buy+”計劃等案例中得以應用。

　　據虞晶怡介紹，針對不同的應用場景，光場技術將有不同的應用方式。一種是小型光場：針對具體物件，可以更加完整全面地展現實物，給用戶更直觀的體驗，在電商領域將有巨大應用與突破。在去年淘寶“雙十一”發布會上，疊境科技展示了用光場重建的唐三彩。面對材質復雜的模型，光場技術不但實現了捕捉不同視角觀看物件產生的光影效果，真實再現了唐三彩的質感，還用壓縮與渲染的方法完美植入到淘寶賣家平臺。亞馬遜看到這一應用后，也開始積極發展這項技術。虞晶怡透露，幾個月后，用戶將可在手機端看到自己的光場渲染器。

　　在人物拍攝為主的中型光場中，光場技術可以快速復現動態人物，一臺電腦幾分鐘就可以完成全過程，實現近乎實時的人物復現，未來將會在娛樂、電影特效、體育訓練等方面大展手腳。

　　大型光場拍攝針對環境，可直接應用于房地產行業虛擬看房等場景。利用光場技術進行拍攝，可以更加真實地復現場景，并且允許用戶走動，從不同的視角和距離進行觀察，不久這項功能也會在手機上出現。