本文預(yù)覽

1、蘋果首款頭顯設(shè)備 Vision Pro 的背景和基礎(chǔ)概念介紹，走入空間計(jì)算時(shí)代；

2、詳細(xì)解讀設(shè)備的硬件組成和空間設(shè)計(jì)的四個(gè)原則，揭示其獨(dú)特之處；

3、展示「云音樂」App 在模擬器和真機(jī)上的運(yùn)行情況；

4、蘋果上海 Vision Pro 開發(fā)者實(shí)驗(yàn)室體驗(yàn)真機(jī)，行業(yè)內(nèi)早期真機(jī)體驗(yàn)分享；

5、「云音樂」App 的落地暢想；

背景

蘋果于 WWDC23 發(fā)布了首款頭顯 Vision Pro，一臺(tái)搭載了全球首創(chuàng)的空間操作系統(tǒng) VisionOS 的革命性的空間計(jì)算設(shè)備，具備多個(gè)攝像頭，用戶用手勢(shì)、眼睛或者語音就可操作控制，可以用來工作、娛樂、溝通的新一代電子產(chǎn)品。2023 年 7 月，蘋果正式開放 Vision Pro 頭顯開發(fā)套件的申請(qǐng)通道，以借出設(shè)備的形式為開發(fā)者提供服務(wù)，并在 2024 年 2 月 2 日在美國(guó)正式上市。筆者收到上海 Apple Vision Pro 開發(fā)者實(shí)驗(yàn)室的邀請(qǐng)，線下體驗(yàn)了 Vision Pro 設(shè)備，并適配運(yùn)行了「網(wǎng)易云音樂」應(yīng)用。

功能解讀

全方位的沉浸式體驗(yàn)

Apple Vision Pro 提供了一幅無邊的空間畫布，供開發(fā)者探索、試驗(yàn)和暢玩，讓大家可以自由地盡情重新構(gòu)想 3D 體驗(yàn)。用戶可以在與周圍環(huán)境保持聯(lián)系的同時(shí)與不同的 App 進(jìn)行交互，也可以完全沉浸在 App 創(chuàng)造的世界中。用戶體驗(yàn)將十分的流暢：首先創(chuàng)建一個(gè)窗口，引入 3D 內(nèi)容，轉(zhuǎn)換為能夠完全令人沉浸其中的場(chǎng)景，然后回到其他開發(fā)工作之中。選擇權(quán)在你手上，一切要從 VisionOS 中的空間計(jì)算構(gòu)建塊開始。

Apple Vision Pro 官方介紹影片中文版請(qǐng)見 鏈接(https://www.bilibili.com/video/BV1Rs4y1i7MD/)。

窗口（Windows）

你可以在 VisionOS App 中創(chuàng)建一個(gè)或多個(gè)窗口。它們使用 SwiftUI 構(gòu)建，并包含傳統(tǒng)的視圖和控件（平面化的展示），開發(fā)者可以通過添加 3D 內(nèi)容來添加深度，以豐富用戶的體驗(yàn)。

空間容器（Volumes）

使用 3D 空間容器為 App 添加深度?？臻g容器是 SwiftUI 場(chǎng)景，可以使用 RealityKit 或 Unity 展示 3D 內(nèi)容，從而打造可在共享空間或 App 的全空間中從任意角度查看的體驗(yàn)。

空間（Spaces）

默認(rèn)情況下，App 啟動(dòng)時(shí)會(huì)進(jìn)入共享空間（Shared Space），在其中這些 App 并排展示，就像 Mac 桌面上的多個(gè) App 一樣。App 可以使用窗口和空間容器來顯示內(nèi)容，用戶可以根據(jù)需要調(diào)整這些元素的位置。為了打造更能令人沉浸其中的體驗(yàn)，App 可以打開一個(gè)專用的全空間（Full Space），在其中只顯示這個(gè) App 的內(nèi)容。在全空間中，App 可以使用窗口和空間容器創(chuàng)建無邊界的 3D 內(nèi)容，打開通往一個(gè)不同世界的入口，甚至可以讓用戶完全沉浸在某個(gè)環(huán)境中。

概念解讀

AR（增強(qiáng)現(xiàn)實(shí)）：眼睛鏡片是透明的，可以直接看到外部真實(shí)世界；

• 通過數(shù)字元素疊加來呈現(xiàn)現(xiàn)實(shí)世界（物理世界）的視圖。

MR（混合現(xiàn)實(shí)）：既可以看到外部真實(shí)世界，也可以看到純虛擬世界，偏向硬件的描述；

• 完全沉浸式的數(shù)字環(huán)境。

VR（虛擬現(xiàn)實(shí)）：眼睛鏡片不是透明的，不可以直接看到外部真實(shí)世界；

• 現(xiàn)實(shí)世界（物理世界）的視圖，具有數(shù)字元素的疊加，其中物理元素和數(shù)字元素可以交互。

XR（擴(kuò)展現(xiàn)實(shí)）：AR + MR + VR 都屬于 XR；和 MR 相比較，為偏向軟件的描述，也可稱 XR SDK；

• 一個(gè)涵蓋所有這些不同技術(shù)的總稱，包括 AR、MR 和 VR。

共享模式（Shared Space）- AR

也稱為透視模式（Passthrough）。光照完全由系統(tǒng)托管，系統(tǒng)會(huì)自動(dòng)探測(cè)環(huán)境光照信息和應(yīng)用做融合。3D 內(nèi)容都使用蘋果自研的 RealityKit 引擎渲染。所以該模式下 Unity 的原始資產(chǎn)均需要被轉(zhuǎn)換為 Realitykit 支持的資產(chǎn)。Unity 官方提供了配套工具可以方便的完成轉(zhuǎn)換：PolySpatial。

全沉浸模式（Full Space）- VR

光照系統(tǒng)由場(chǎng)景決定，可按需定制。在此模式下，其它引擎不能使用系統(tǒng)的 2D UI，因?yàn)樾枰嬷С窒到y(tǒng)窗口這種特殊材質(zhì)。3D 場(chǎng)景直接使用 Unity 引擎渲染（無需資產(chǎn)翻譯）。

總結(jié)

Vision Pro 實(shí)際支持 AR、VR、MR ，也可以簡(jiǎn)單的理解為是一臺(tái) 支持 XR 的 MR 設(shè)備。

硬件組成部分

正面

一片獨(dú)特的三維成型玻璃與鋁合金框架，輕輕彎曲以包裹臉部?？稍谕庵闷聊簧夏M用戶眼部畫面。這塊弧形屏幕，傳感器收集到的用戶眼部畫面實(shí)時(shí)渲染出實(shí)景一般的圖像呈現(xiàn)在屏幕上，讓人有看穿屏幕的錯(cuò)覺。蘋果將其稱為 EyeSight。

相機(jī)和傳感器

一系列先進(jìn)的攝像頭和傳感器協(xié)同工作，清楚地看到世界、了解周邊環(huán)境并檢測(cè)手部輸入。一對(duì)高分辨率攝像頭每秒向顯示器傳輸超過 10 億像素，因此您可以清楚地看到周圍的世界。該系統(tǒng)還有助于提供精確的頭部和手部跟蹤以及實(shí)時(shí) 3D 映射，同時(shí)從各種位置理解您的手勢(shì)。

音頻帶

揚(yáng)聲器靠近耳朵，提供與真實(shí)世界的聲音無縫融合的豐富空間音頻。

頭帶

頭帶提供緩沖、透氣性和彈性。通過旋鈕根據(jù)自己的頭部精確調(diào)整 Vision Pro；頭帶采用 3D 針織，形成獨(dú)特的羅紋結(jié)構(gòu)，提供緩沖、透氣性和彈性。

顯示器

一對(duì)定制的微型 OLED 顯示器為每只眼睛提供比 4K 電視更多的像素，定制的微型 OLED 顯示系統(tǒng)具有 2300 萬像素，提供令人驚嘆的分辨率和色彩。專門設(shè)計(jì)的三元素鏡頭營(yíng)造出無處不在的顯示屏感覺。

遮光罩

磁吸式遮光罩輕柔地貼合臉部，提供精確貼合，同時(shí)阻擋雜散光。

表冠旋鈕

按下數(shù)碼表冠調(diào)出主視圖，然后轉(zhuǎn)動(dòng)它來控制使用環(huán)境時(shí)的沉浸感。就能從以假亂真的外部世界（AR）切換到沉浸的虛擬空間（VR）。

頂部按鈕

按下頂部按鈕即可即時(shí)拍攝空間視頻和空間照片。

針對(duì)近視的鏡片

蔡司光學(xué)插拔式鏡片可根據(jù)視力進(jìn)行定制，磁性附著在鏡片上以實(shí)現(xiàn)精確觀察和眼動(dòng)追蹤。

外接電池

外接電池支持長(zhǎng)達(dá) 2 小時(shí)的使用，連接電源時(shí)，支持全天使用。另一側(cè)則是類似的旋轉(zhuǎn)接口的開發(fā)專用接口。

整體結(jié)構(gòu)

鋁殼電池可以放入口袋中作為便攜式電源。它使用編織電纜進(jìn)行連接，常規(guī)使用續(xù)航可達(dá) 2-3 小時(shí)。

更多組成部分

眼動(dòng)追蹤

由LED和紅外攝像頭組成的高性能眼動(dòng)追蹤系統(tǒng)將不可見光圖案投射到每只眼睛上。這個(gè)先進(jìn)的系統(tǒng)提供超精確的輸入，無需您握住任何控制器，因此您只需看一下就可以準(zhǔn)確地選擇元素。Vision Pro可以在用戶實(shí)際點(diǎn)擊之前預(yù)測(cè)他們的點(diǎn)擊操作。因?yàn)樵谟脩魷?zhǔn)備點(diǎn)擊之前，瞳孔的反應(yīng)已經(jīng)顯示出大腦的“點(diǎn)擊”動(dòng)作了。一旦大腦的動(dòng)作被發(fā)現(xiàn)，即可被設(shè)備識(shí)別。

雙芯片

M2 芯片同時(shí)運(yùn)行 VisionOS，執(zhí)行先進(jìn)的計(jì)算機(jī)視覺算法；R1 芯片專門用于處理來自攝像頭、傳感器和麥克風(fēng)的輸入，并在 12 毫秒內(nèi)將圖像流式傳輸?shù)斤@示器（比眨眼速度還要快 8 倍）。

總結(jié)

Vision Pro 中放入了 2 塊芯片、5 個(gè)傳感器（包括 2 個(gè)景深相機(jī)）、 6 個(gè)麥克風(fēng)、8 個(gè)高清攝像頭、4 個(gè)紅外攝像頭、1 個(gè)激光雷達(dá)和 1 圈 LED，整個(gè)頭顯重量達(dá)到 450 克，成為限制用戶使用時(shí)長(zhǎng)的一個(gè)重要因素。

設(shè)計(jì)原則

Apple VisionOS 搭載全新的 3D 界面，讓數(shù)字內(nèi)容看起來、感覺上就像在用戶的真實(shí)世界存在，透過自然光線和陰影的變化來幫助用戶理解比例與距離。Apple Vision Pro 和 VisionOS 既強(qiáng)大又獨(dú)特的功能，來設(shè)計(jì)全新的 App 并為空間計(jì)算重塑現(xiàn)有 App 的體驗(yàn)。

基本空間設(shè)計(jì)原則（空間）

(https://developer.apple.com/videos/play/wwdc2023/10072/)

Spatial design 是 VisionOS 的設(shè)計(jì)基礎(chǔ)，它為用戶創(chuàng)造了全新的、完整的基于空間的操作體驗(yàn)，同時(shí)保持了和 iPhone 相似的基本操作習(xí)慣，保持了蘋果產(chǎn)品一貫的簡(jiǎn)單易用。

這是關(guān)于空間設(shè)計(jì)原則的講座，由 Apple Design 團(tuán)隊(duì)的 Nathan Gitter 和 Amy DeDonato 主講。以下是主要內(nèi)容的總結(jié)：

• 設(shè)計(jì)空間操作系統(tǒng)：這種操作系統(tǒng)可以將周圍的世界變成無限的畫布，用于創(chuàng)建新的應(yīng)用程序和游戲。通過深度、規(guī)模、自然輸入和空間音頻，可以創(chuàng)造出以前無法實(shí)現(xiàn)的體驗(yàn)。
• 保持應(yīng)用程序的熟悉性：盡管有許多新的可能性，但仍需要與用戶熟悉的元素保持平衡。例如，側(cè)邊欄、標(biāo)簽和搜索字段等常見元素可以幫助用戶找到他們正在尋找的音樂。
• 人性化設(shè)計(jì)：設(shè)計(jì)應(yīng)考慮用戶的視野和可能的移動(dòng)方式。例如，將最重要的內(nèi)容放在中心，使用景觀布局，以及考慮人的舒適姿勢(shì)等。
• 利用空間和尺度：設(shè)計(jì)應(yīng)充分利用空間，并使用深度和規(guī)模來優(yōu)化體驗(yàn)。例如，將窗口設(shè)計(jì)得足夠大，以適應(yīng)人們的視野，但又足夠小，以避免阻擋過多的視線。
• 創(chuàng)造沉浸式體驗(yàn)：沉浸式體驗(yàn)可以超越窗口，改變周圍的世界。這種體驗(yàn)可以根據(jù)用戶在體驗(yàn)中的位置，流暢地在不同的沉浸狀態(tài)之間過渡。
• 保持平臺(tái)的真實(shí)性：最好的應(yīng)用程序是豐富的、沉浸式的體驗(yàn)，利用了人們的空間。應(yīng)用程序不應(yīng)該是快速跳入一分鐘的事情，而應(yīng)該是值得、引人入勝、獨(dú)特的體驗(yàn)。

總的來說，這個(gè)講座強(qiáng)調(diào)了在設(shè)計(jì)空間應(yīng)用程序時(shí)，需要考慮的一些關(guān)鍵原則，包括保持熟悉性、以人為中心的設(shè)計(jì)、利用空間和尺度、創(chuàng)造沉浸式體驗(yàn)，以及保持平臺(tái)的真實(shí)性。

空間用戶界面設(shè)計(jì)原則（空間 UI）

(https://developer.apple.com/videos/play/wwdc2023/10076/)

了解如何為空間計(jì)算應(yīng)用程序設(shè)計(jì)出色的界面?；谄聊坏闹R(shí)如何輕松轉(zhuǎn)化為為 VisionOS 創(chuàng)造出色的體驗(yàn)。探索 UI 組件、材料和排版指南，了解如何設(shè)計(jì)熟悉、清晰且易于使用的體驗(yàn)。

內(nèi)容主要是介紹如何設(shè)計(jì)空間用戶界面：

• Miquel Estany Rodriguez 和 Lorena Pazmino，來自 Apple Design 團(tuán)隊(duì)的兩位成員，介紹了如何設(shè)計(jì)空間用戶界面。他們構(gòu)建了一種視覺語言，既保持了與現(xiàn)有平臺(tái)的一致性和熟悉感，又發(fā)展了某些元素以適應(yīng)沉浸式和空間體驗(yàn)。
• 首先討論了創(chuàng)建應(yīng)用圖標(biāo)和界面的 UI 基礎(chǔ)和設(shè)計(jì)原則，這些圖標(biāo)和界面在環(huán)境中清晰可見且易于使用。然后，他們討論了如何創(chuàng)建既符合人體工程學(xué)又易于定位的布局的關(guān)鍵概念和最佳實(shí)踐。最后，他們展示了如何將應(yīng)用從屏幕轉(zhuǎn)換到空間，詳細(xì)介紹了所有系統(tǒng)組件，其中一些你熟悉，一些則完全是新的。
• 詳細(xì)解釋了如何設(shè)計(jì)出色的圖標(biāo)，如何使用材料，以及如何優(yōu)化 3D 內(nèi)容的視覺質(zhì)量和性能。它提供了一些關(guān)于如何創(chuàng)建 3D 效果，如何預(yù)覽 3D 模型，以及如何使用新工具如 Reality Composer Pro 和 RealityKit Treace 來檢查和優(yōu)化內(nèi)容的建議。
• 還詳細(xì)討論了如何使用空間輸入設(shè)計(jì)，如何設(shè)置應(yīng)用的核心結(jié)構(gòu)，如何使用窗口、標(biāo)簽欄和側(cè)邊欄，以及如何使用新的內(nèi)容呈現(xiàn)方式。最后，探討了模態(tài)性，包括菜單、彈出窗口和表單。

總的來說，這是一個(gè)非常詳細(xì)的空間用戶界面設(shè)計(jì)指南，為設(shè)計(jì)師和開發(fā)者提供了一系列的工具和技巧來創(chuàng)建和優(yōu)化他們的空間體驗(yàn)。

沉浸式聲音設(shè)計(jì)原則（空間音頻）

(https://developer.apple.com/videos/play/wwdc2023/10271)

了解如何使用聲音來增強(qiáng) VisionOS 應(yīng)用程序和游戲的體驗(yàn)。了解 Apple 設(shè)計(jì)師如何選擇聲音并構(gòu)建音景來打造質(zhì)感十足的沉浸式體驗(yàn)。我們將分享當(dāng)您在空間上放置音頻提示、改變重復(fù)的聲音以及在應(yīng)用程序中構(gòu)建聲音愉悅的時(shí)刻時(shí)，如何通過聲音豐富應(yīng)用程序中的基本交互。

這是關(guān)于探索沉浸式聲音設(shè)計(jì)的講座，由設(shè)計(jì)團(tuán)隊(duì)的 Danielle Price 主講。以下是主要內(nèi)容的總結(jié)：

• 空間音頻的應(yīng)用：我們經(jīng)常使用空間音頻來導(dǎo)航世界，例如通過聲音的方向和音量來定位 iPhone 的位置。
• 空間音頻的工作原理：設(shè)備可以適應(yīng)不同的空間，并添加你的空間的混響，使事物聽起來像是真的在房間里?？臻g音頻源會(huì)根據(jù)它們的位置，聽起來像是更近或更遠(yuǎn)。
• 設(shè)計(jì) UI 和沉浸式應(yīng)用的聲音：通過為每個(gè)交互添加微妙的聲音，我們可以幫助用戶產(chǎn)生熟悉感和信心。例如，虛擬鍵盤的每個(gè)按鍵都來自鍵盤前方的位置。
• 設(shè)計(jì) UI 聲音：我們希望 UI 的聲音與系統(tǒng)的其他聲音相匹配，同時(shí)突出深度感。好的 UI 聲音應(yīng)該是微妙的，提供足夠的反饋以提供幫助。
• 使用聲音設(shè)計(jì)更沉浸式的體驗(yàn)：例如，我們的環(huán)境，Mount Hood，是系統(tǒng)中的全面沉浸式體驗(yàn)。每個(gè)地方都有明暗兩個(gè)版本，都有匹配的真實(shí)空問聲音景觀。
• 設(shè)計(jì)、錄制和混合這些體驗(yàn)的聲音：我們可以自由地創(chuàng)造和策劃最好的現(xiàn)實(shí)，使應(yīng)用程序的聲音以最好的方式補(bǔ)充其視覺效果。
• 創(chuàng)建現(xiàn)實(shí)聲音景觀：我們使用了不同的麥克風(fēng)來錄制環(huán)境音，以捕捉一個(gè)地方周圍的空氣聲音。然后，我們使用高靈敏度的定向麥克風(fēng)來捕捉我們正在尋找的特定聲音。
• 在環(huán)境中放置音頻對(duì)象：我們可以從真實(shí)生活經(jīng)驗(yàn)中獲取靈感。當(dāng)我們走出去時(shí)，許多不同類型的動(dòng)物會(huì)從不同的位置發(fā)出聲音，它們都層疊在一起形成一個(gè)聲音景觀。我們的任務(wù)是以正確的距離和位置重新創(chuàng)建這個(gè)聲音。

總的來說，這個(gè)講座強(qiáng)調(diào)了在設(shè)計(jì)沉浸式聲音體驗(yàn)時(shí)，需要考慮的一些關(guān)鍵原則，包括空間音頻的應(yīng)用，設(shè)計(jì) UI 和沉浸式應(yīng)用的聲音，設(shè)計(jì) UI 聲音，使用聲音設(shè)計(jì)更沉浸式的體驗(yàn)，設(shè)計(jì)、錄制和混合這些體驗(yàn)的聲音，以及在環(huán)境中放置音頻對(duì)象。

空間輸入設(shè)計(jì)原則（空間交互 - 全新的輸入系統(tǒng)）

(https://developer.apple.com/videos/play/wwdc2023/10073/)

了解如何為眼睛和手設(shè)計(jì)出色的交互。我們將分享空間輸入的設(shè)計(jì)原則，探索輸入法的最佳實(shí)踐，并幫助您創(chuàng)造舒適、直觀和令人滿意的空間體驗(yàn)。

上述內(nèi)容主要是關(guān)于在數(shù)字界面交互中手勢(shì)和眼睛的作用。以下是主要的要點(diǎn)：

• 手勢(shì)交互：手勢(shì)是主要的交互方式，可以通過捏、拖動(dòng)等操作進(jìn)行交互。UI 反饋應(yīng)繼續(xù)手部的運(yùn)動(dòng)，以增強(qiáng)交互的連貫性。在設(shè)計(jì)交互時(shí)，應(yīng)使用用戶熟悉的模式，并確保手勢(shì)的響應(yīng)符合用戶的預(yù)期。
• 自定義手勢(shì)：對(duì)于無法用標(biāo)準(zhǔn)手勢(shì)表達(dá)的行為，可以定義自定義手勢(shì)。自定義手勢(shì)應(yīng)易于理解和執(zhí)行，與系統(tǒng)集合的標(biāo)準(zhǔn)手勢(shì)明顯不同，且用戶能夠在不感到疲芳的情況下連續(xù)重復(fù)。
• 眼部定向：眼部定向與手勢(shì)相結(jié)合，可以創(chuàng)建精確和滿意的交互。這使得交互更精細(xì)和滿足。
• 直接觸摸：我們支持使用指尖直接觸摸和交互。在設(shè)計(jì)直接交互時(shí)，我們要考慮到長(zhǎng)時(shí)間懸空的手會(huì)感到疲勞，因此需要提供充分的反饋以彌補(bǔ)缺失的感官信息。
• 音頻的作用：音頻在連接輸入與虛擬內(nèi)容方面起到特殊的作用。
• 設(shè)計(jì)的原則：使用與系統(tǒng)一致的手勢(shì)語言，僅在無法使用標(biāo)準(zhǔn)集合實(shí)現(xiàn)期望行為時(shí)引入自定義手勢(shì)，尋找使用眼睛作為意圖信號(hào)的方式來改進(jìn)交互，只有在直接交互是體驗(yàn)的核心時(shí)才使用它，并提供豐富的反饋以彌補(bǔ)缺失的感官信息。

總的來說，這段內(nèi)容強(qiáng)調(diào)了眼部和手部在空間交互設(shè)計(jì)中的重要性，突出了舒適性和人體工程學(xué)的重要性，并提倡設(shè)計(jì)者和開發(fā)者在設(shè)計(jì)交互體驗(yàn)時(shí)考慮舒適性和可訪問性。

MR 核心技術(shù)（透視技術(shù)）

頭帶顯示器自身具有顯示虛擬世界的能力，如何同時(shí)在用戶的視野中呈現(xiàn)現(xiàn)實(shí)世界與虛擬世界是實(shí)現(xiàn) MR 體驗(yàn)的關(guān)鍵。下面是 MR 體驗(yàn)的兩種不同方案，旨在解決如何將現(xiàn)實(shí)世界顯示在用戶視野中的問題。

VST（視頻透視 - Video See Through）

以 Apple Vision Pro、Meta Quest-3 等為代表。它利用攝像頭等傳感器，捕捉真實(shí)世界的影像，然后投射到屏幕上，看到的內(nèi)容都是虛擬重建的。優(yōu)點(diǎn)是可以構(gòu)建一個(gè)更加虛擬的世界，效果更加夢(mèng)幻。但是這也意味著對(duì)硬件、光線要求更高。如Vision Pro 采用多攝像頭、雙芯片方案，也進(jìn)一步拉高了頭顯重量和成本價(jià)格。

實(shí)際體驗(yàn)效果請(qǐng)參考文檔下方的 Vision Pro 真機(jī)體驗(yàn)章節(jié)。

VR 行業(yè)常用每 1° 視野中像素點(diǎn)（角分辨率，PPD）綜合評(píng)判頭戴設(shè)備的顯示效果，達(dá)到人眼的效果需要到 60。現(xiàn)在的設(shè)備普遍只有 20 左右，而 Vision Pro 做到了 40。

OST（光學(xué)透視 - Optic See Through）

代表產(chǎn)品有 Microsoft Hololens-2、Rokid Max Pro 等。它可以通過一層玻璃，讓人看到的永遠(yuǎn)是真實(shí)世界，在此基礎(chǔ)上構(gòu)建虛擬物品，可以和現(xiàn)實(shí)世界產(chǎn)生交互。它的優(yōu)點(diǎn)是能讓人感受真實(shí)的世界，眼鏡形式更加輕便。但在目前底層硬件技術(shù)的制約下，也勢(shì)必需要犧牲性能、續(xù)航和散熱。而且還需要不斷在性能和重量之間做取舍。

，時(shí)長(zhǎng)00:08

總結(jié)

OST 被稱為真正的 AR，OST 或是未來主要透視解決方案，但當(dāng)前 VST 的諸多優(yōu)點(diǎn)使其成為當(dāng)前的主流方案。AR 眼鏡的透視主要采用 OST 方案，AR 眼鏡的輕便性或使其成為未來主流 XR 產(chǎn)品形態(tài)，相應(yīng) OST 也有望成為下一代主流透視技術(shù)方案，而 VST 則更適合于當(dāng)前主流 VR 產(chǎn)品形態(tài)。OST 在亮度、真實(shí)世界分辨率、延遲、焦平面（影響暈眩感）有顯著的優(yōu)勢(shì)，而 VST 則在遮擋效果、FOV、虛實(shí)匹配、配準(zhǔn)、亮度匹配等方面更為成熟。從實(shí)機(jī)成像效果看，受制于目前光學(xué)技術(shù)瓶頸，OST 在色彩表現(xiàn)與虛實(shí)融合等性能指標(biāo)上劣勢(shì)較為明顯，VST 雖然無法完全還原現(xiàn)實(shí)世界， 但虛實(shí)合成后的顯示效果仍具有較大優(yōu)勢(shì)。

下面是 VST 和 OST 的各項(xiàng)指標(biāo)的對(duì)比：

VSTOST亮度100-600 尼特6600 尼特+真實(shí)世界分辨率單眼 2k-4k單眼 24K+延遲有延遲現(xiàn)實(shí)世界無延遲，虛擬世界有延遲焦平面1 個(gè)焦平面無數(shù)個(gè)焦平面，可防止幅輳沖突和眩暈遮擋效果合理遮擋虛擬對(duì)現(xiàn)實(shí)不完全遮擋FOV主流在 90-120° 之間主流在 30-70° 左右虛實(shí)匹配虛實(shí)匹配一致虛實(shí)匹配不佳配準(zhǔn)信息更易配準(zhǔn)僅靠頭部追蹤器匹配亮度匹配控制虛實(shí)亮度易匹配虛實(shí)亮度難匹配

隱私和安全保護(hù)

Optic ID 是一個(gè)全新的安全認(rèn)證系統(tǒng)，通過分析在各種非可見 LED 光下的用戶虹膜，并將其與存儲(chǔ)在安全隔區(qū)的用戶注冊(cè) Optic ID 比對(duì)以迅速解鎖 Apple Vision Pro。用戶的 Optic ID 信息完全加密存儲(chǔ)在設(shè)備上，不會(huì)儲(chǔ)存在 Apple 服務(wù)器上，也無法被任何 app 所訪問。

用戶在使用 Apple Vision Pro 時(shí)的瀏覽內(nèi)容和眼睛追蹤信息均不會(huì)與 Apple、第三方 app 或網(wǎng)站分享。除此之外，來自相機(jī)和其他傳感器的信息均直接在設(shè)備端處理，所以 app 不需要看見用戶的周圍環(huán)境來提供空間體驗(yàn)。EyeSight 也包含一個(gè)視覺指示燈，讓周圍的人知道用戶正在拍攝空間照片或空間視頻。

真機(jī)體驗(yàn)說明

模擬器體驗(yàn)

，時(shí)長(zhǎng)00:29

真機(jī)體驗(yàn)

和下面的視頻基本體驗(yàn)一致：

，時(shí)長(zhǎng)00:16

使用流程和支持的手勢(shì)操作

云音樂暢想

借助 VisionPro 設(shè)備的無限畫布的特性，不同類型的應(yīng)用可以有不同的 VR 落地方向，如電商應(yīng)用，可能會(huì)去探索沉浸式的 VR 購物體驗(yàn)，讓用戶在接近真實(shí)世界的環(huán)境下挑選合適尺碼的衣服。下面是基于云音樂應(yīng)用本身的特性，給出的一些想法和可供參考的探索方向（和實(shí)際是否落地?zé)o關(guān)）。

黑膠唱片店

• 首頁/個(gè)人資產(chǎn) — 黑膠唱片墻：可以不斷切換風(fēng)格以及動(dòng)畫內(nèi)容進(jìn)行展示。

• Minibar — 黑膠唱片機(jī)：支持播控、切換歌曲、紅心等，支持獨(dú)立窗口 pin 在任意位置（同一應(yīng)用多開）。

數(shù)碼黑膠專輯擬物/裝飾播放器樣式等會(huì)員權(quán)益也可以在 VR 中展示出來。

VR - 打碟臺(tái)/多人歌房（派對(duì)房）

• 直接觸摸黑膠進(jìn)行打碟、調(diào)音器、混合器、remix 的合成器。

氛圍空間（Environment Space）

• 利用 Environment 將音樂與視頻畫面結(jié)合，如 VR 旅行、冥想等場(chǎng)景，參考示例。

VR 一起聽、演唱會(huì)

• 支持虛擬人像進(jìn)行內(nèi)容透?jìng)?，打造兩人一起聽的沉浸式體驗(yàn)。

• 舉辦個(gè)人演唱會(huì)（個(gè)人錄音棚），各種現(xiàn)實(shí)世界中的樂器都能虛擬化出來。

參考鏈接:

https://developer.apple.com/documentation/visionos/bringing-your-app-to-visionos

https://developer.apple.com/documentation/visionos/making-your-app-compatible-with-visionos

https://developer.apple.com/visionos/compatibility-evaluations/

https://vrtuoluo.cn/536959.html

https://developer.apple.com/cn/visionos/

https://developer.apple.com/cn/visionos/planning/

https://www.apple.com.cn/newsroom/2023/06/introducing-apple-vision-pro/

https://pdf.dfcfw.com/pdf/H3_AP202307141592272523_1.pdf?1689343173000.pdf

https://mdpi-res.com/d_attachment/sensors/sensors-22-07709/article_deploy/sensors-22-07709.pdf

https://niteeshyadav.com/blog/understanding-display-techniques-in-augmented-reality-7485/

作者:徐凱斌、王維恒

來源:微信公眾號(hào):網(wǎng)易云音樂技術(shù)團(tuán)隊(duì)

出處
:https://mp.weixin.qq.com/s/qETIYY4OKkMinm6w47N4tA