隨著蘋果iPhone 15系列的正式發佈,該系列新機的各項細節也開始陸續被曝光,其中兩款Pro版機型首次帶來的空間視頻拍攝能力就引發了外界的諸多關注。據悉,這一功能將與此前亮相的Vision Pro結合,為用戶帶來空間視頻體驗。目前蘋果方面尚未深入介紹該功能的相關細節,僅聲稱通過iPhone 15 Pro和iPhone 15 Pro Max的主攝像頭與超廣角攝像頭相結合,實現了空間視頻拍攝能力,並且這一功能將於今年晚些時候開放。
雖然許多朋友認為,空間視頻似乎與此前就已出現的3D視頻差異並不大,但兩者其實有著一定的區別。尤其是在目前蘋果正不斷完善Vision Pro生態的情況下,iPhone 15系列新機所提供的這一功能,也就尤為引入注目了。
此前曾一度走紅的3D視頻和照片通常是使用兩臺攝影機或兩個鏡頭來模擬人眼,分別拍攝左眼和右眼的畫面,並且攝影機或鏡頭之間的距離往往也與人眼的瞳距保持一致,而且要確保光圈、焦距和亮度一致,不僅實現方式相對複雜,後期的各種處理也極其繁瑣。此外拍攝3D視頻或照片還需要藉助Object Capture(目標捕捉)技術來識別物體的XYZ三軸信息,這也是一個繁瑣的過程。
在蘋果公開的信息中顯示,用戶僅在固定角度就可以完成空間視頻的拍攝
但根據現階段蘋果公開的相關信息顯示,拍攝者只需在一個固定的視角就可以完成拍攝,因此大概率是在拍攝過程中通過攝像頭和激光雷達來採集數據,然後通過算法來得出XYZ軸的數據,最終來生成3D模型。這種方式雖然簡化了採集三軸位置信息的過程,但對於算力、算法的優化,以及測距的精度也提出了更高的要求。
蘋果方面將空間視頻定義為“Spatial Video”,在其開發者文檔中將其稱為“Stereo Video”(立體視頻)。更有趣的是,根據這份文檔的定義,空間視頻的觀賞原理與觀賞3D電影類似,都是通過左右兩幅不同的圖像,再通過“腦補”來得到有立體感的畫面。但需要注意的是,完整的空間視頻概念應該還將空間音頻包含在內,否則“空間”的概念自然也就無法自圓其說了。
雖然一直以來蘋果的生態都以封閉性著稱,但這次出乎意料的是,在空間視頻視頻方面他們非常罕見地持開放態度,採用了MV-HEVC(Multiview High Efficiency VideoCoding)視頻編碼,而這套編碼早在2015年就被ISO/IECMPEG和ITU-T VCEG兩大國際標準化組織確立為標準編碼。
不過目前官方尚未透露空間視頻每分鐘所產生的數據量,以及iPhone 15系列的Pro版機型一次能夠拍攝多長時間。但有觀點認為,由於會具備更多空間的信息,因此這類視頻的體積勢必不會太小。
這一操作,事實上也說明了蘋果對於吸引更多開發者和相關廠商的心理,畢竟只有XR這個生態越完善,才能確保即將上市的Vision Pro能夠對更多的消費者產生吸引力,後續才有可能推出一系列的衍生產品。
此外需要注意的是,蘋果方面對於空間視頻領域的佈局,或許遠比現在所展示的要宏大得多。此次空間視頻捕捉的3D模型採用了USDZ格式,而這一格式早在2018年WWDC上就已發佈。
就在今年8月,皮克斯、Adobe、蘋果、Autodesk和NVIDIA成立了OpenUSD聯盟,宣佈將共同推動USDZ開放標準的發展。從這五家廠商的身份就不難發現,從標準制定、工業設計、內容製作和生產、硬件設計和支持,以及人工智能等方面,都被覆蓋在內。
iPhone 15 Pro和iPhone 15 Pro Max的主攝和超廣角間距離顯然無法達到人眼瞳距
根據目前已經揭曉的相關信息顯示,iPhone 15系列兩款Pro版機型拍攝空間視頻的方式,或將是藉助超廣角和主攝來配合完成左眼及右眼畫面的拍攝。此前採取這種方式,需要確保兩枚攝像頭的間距與人眼瞳距接近或相當,但這兩款機型顯然達不到這個要求,所以蘋果方面必然是通過其他方式來實現,例如藉助LiDAR來輔助調整。
不過使用LiDAR來對測量空間信息,勢必將對算力提出更高的要求。因此有觀點認為,這可能也是為何iPhone 15 Pro和iPhone 15 Pro Max此次跳過A17,配備了以往在iPhone上從未出現過的Pro版A系列芯片A17 Pro的原因。
但在一切尚未揭曉之際,也有業內人士指出,此次蘋果發佈的iPhone 15 Pro和Vision Pro的演示內容,看似是帶景深的3D視頻,但其實際上可能不需要3D重建技術、也不是3D模型,而是一種立體顯示技術,其優勢是可以讓用戶看到具有物理景深的三維圖像。如果這一推測屬實,自然也就對算力和算法優化的要求也就沒那麼高了。
此外空間視頻可能還有另外一種觀賞方式,那就是採用自由視角來觀看,但這必然就需要將目標捕捉技術融入,不僅操作更為繁瑣,而且要記錄的數據量也更龐大。儘管這與蘋果目前公開的信息不符,卻極有可能會在未來成真。
但毫無疑問的是,iPhone 15系列Pro版機型此次帶來的空間視頻拍攝功能,勢必將會把此前的3D視頻拍攝相關技術推向更高的層次,同時也將成為豐滿Vision Pro生態的重要舉措。由於蘋果採用了目前行業通用的編碼、文件格式,以及3D模型,所以不僅為自身提供了更多的內容源,也或將會對整個XR行業起到重要的促進作用。
Redmi Note13 Pro+首發評測:高端體驗大眾化
體驗進步巨大的這款新機,或將引發新一輪行業競爭。