@Lenciel

AVP 初印象 - 软件(2)

这是一个系列文章里的第三部分,前面我们聊了硬件visionOS

上次只说了操作系统,接着聊聊内置的系统软件。

目录

互联互通

Facts

visionOS 在设计上的大量选择,都表明 Apple 把 AVP 与其他设备的生态打通作为重点的决心。

但目前没有发现它跟我的手表有什么互动。

我的手机在初次设置的时候,通过扫描一个二维码,同步了我的 id,密码等等,大大减轻了初始化的工作量。

然后它和 AVP 好像就分手了 并且,再说一遍,戴上 AVP 的时候用 passthrough 我根本看不清手机也不能解锁它。

AVP 和我的 iPad 好像也不太联系,大概 iPad 知道 AVP 心里面想要成为它的替代品。

目前 AVP 对 Mac 的支持是最多也最丰富的,因为它只是想做连接到 Mac 上的另一个显示器,能有什么坏心思呢?

结论:目前只有和 Mac 的互联互通做到了可用连接 Mac 到 AVP 上主要是通过Mac Virtual Display这个功能。 。它给人的感觉就是,「啊哈,这才是我想要的 passthrough 的清晰度,这才是跟其他 VR 不一样的地方」。

Rants

可以想象,现在 macOS 团队那边堆了很多来自 visionOS 团队的需求。

但同时他们还有很多自己的需求,watchOS 的需求,iOS 的需求,tvOS 的需求…

才二十万来台货的 visionOS 优先级应该没有多高,所以有很多问题没有被解决:

  • 前面吐槽过的窗口管理问题,叠加现在还不支持多个 virtual display;
  • Mac 下的外设无法完全正常使用,而 virtual screen 里的 Mac 又不太支持眼动;
  • virtual display 不能像其他窗口一样被随意移动和摆放;
  • 它要求两台设备登录同一个 apple id;
  • 我还可以说半个小时…

由于长期使用多个屏幕办公,这里面很多缺陷对我来说还是比较破坏性的。

结论:在一些软件上的改进完成之前,我不会用 AVP 替换现有的外接显示器。

Thoughts

虽然看起来结论很负面,但这些都是软件问题,软件问题只是个优先级问题。

而且,AVP 最大的潜力其实在那个被 diss 为「尿袋」的外挂电池。

如果我们把 AVP 看成是一台电脑,目前外挂的只有电池,头显上有一堆的算力、传感器、显示屏。

在未来,Apple 会不会通过尿袋做中继,逐步把一些计算密集的任务交给 iPhone、iPad 或者 Mac,让头显的成本、重量和耗电都降下去?

结论:想象一下,如果在出差的时候有一台 AVP 和一台 Mac,就可以随时在狭窄的座位上扩展出来一个私人空间,不管是写代码、看书还是娱乐,都是大屏体验,棒不棒?这是 Apple 肯定会去的地方,肯定得让人觉得毫不惊讶甚至有些无聊,但却是其他厂商去不了的地方。

系统软件

People & Personas

People 主要功能是和联系人进行交互。它被打造成一级入口AVP 有三个一级入口:Apps、People、Environments。 ,大概是因为 VR 头显有个历史问题:用户在里面太寂寞了。

通过 Personas 捏个半身像,包括 Zoom、Facetime 等在内的前置摄像头拍摄用户参与的活动,就是数字人上了。

捏脸的过程比较简单,十来秒就完成了(但不知为啥这个过程音量会被自动调到最大,还没法调小,于是我羞愧地躲进了电话亭):

avp_personas_1.jpg
图 1. 捏脸过程很快,除开眼镜没啥可选的

这一系列在营销中被当成 AVP 核心卖点visionOS 在 1.1 的升级里主要推的也是这部分相关的功能。 的功能,实际使用后,我觉得:

  • 简单的捏脸带来的问题是结果比较简陋。实际上,既然是其他人在沟通时看到的「我」的形象,用户是愿意花上个几分钟时间捏出造型更精致细节也更丰富的版本的;
  • 和 Meta 的卡通化相比,AR 爱好者苹果选择了写实风格。 这会带来不少优势,比如看到它的人会马上认识这就是你,并且很认真地对待它;但是追求保真会有它固有的劣势,特别是在今天的技术水平下。比如看到它的人,包括你自己,会认为这虽然是你,但可能是打了太多肉毒杆菌的你,或者是变成鬼之后的你
  • 一起看片甚至是一起玩桌游是个非常不错的体验,但是还没有好到用户不会去问自己为什么不跟对方线下聚聚看个电影或者是玩个桌游;
  • 可以随意走动并且不用手捧着手机是一个视频通话不错的体验,但是这个过程中你其实看不见自己的样子(先不管它像肉毒的你还是变鬼的你),这多少有点让人焦虑;

在找到可以视频的人之前,我先给自己打了一个:

avp_personas_2.jpg
图 2. 通过 AVP 跟 iPhone 打 Facetime,Cyber Horror

结论:这部分功能被设计来让用户没有那么寂寞。但目前它提供的体验水平是在提醒用户,你们这些可怜人真的是寂寞…

Environments

我最喜欢的是呆在月球。

avp_enviroments.jpg
图 3. 现在的窗口管理下,月球很快会被铺满

但久了就有一点点倦,然后发现要切换个 environment 好像还挺困难。

好容易把所有内置场景都换了一遍之后我在想,就是这些了吗?我还想要孤山寺北,立水桥南…

其实 Apple 很明显是有一套第三方 environment 制作标准的。因为除开系统内置,在 Apple TV 应用里,用户可以进入一个电影院,而 Disney+的应用里用户可以到纽约。

结论:做得很棒,但是不够丰富。也许开放接口是个丰富生态的好办法。

Spatial Photo & Video

在 AVP 里观看空间视频的时候,边缘淡出加上 3D 效果,会让用户体验到故地重游的惊喜,所以它成了很多 AVP 用户实际上使用较多,并且击节叫好的功能:

avp_spatial_video_recording.jpg
图 4. 在 AVP 里面录制空间视频

avp_spatial_video_playing.jpg
图 5. 在 AVP 里面播放空间视频

要获得这项魔法目前有两个办法。

  • 如果有 iPhone15,可以打开「空间视频」,然后拍摄的时候就多了这种格式可选。
  • 如果没有,可以使用 AVP 来进行拍摄。

但有三个我感受到的问题:

  • 目前使用 AVP 进行拍摄的控件还有些让人困惑,因为怎么拍全景图,怎么拍一般图,怎么拍视频,入口划分很不清晰;
  • AVP 拍摄的图片和视频的分辨率都经过压缩,只能说基本够用,所以如果是要进行后续处理的创作,最好不要用;
  • 最后也是摩擦力最大的一点是,用户怎么有脸(虽然脸被遮住了)戴着这个东西拍摄呢? 反正我是没法想象自己小孩儿过生日的时候,为了获得可以穿越回去的视频,头顶 AVP 一边唱生日歌一边录像;

结论:虽然分辨率有限,但是被送回那一刻的感受仍然很酷。光是想一下可以这样去回顾自己跟亲人和朋友相处的时刻,就让你觉得几万块也没什么。希望拍摄设备快速普及。

分享和访客模式

如果说 Apple 为了用户没那么寂寞做了一些功能的话,那么它在分享和访客模式这部分还做了很多努力保证你活该那么寂寞。

先说分享。

要通过截图或者录制视频,和其他人分享自己在 APV 里面的体验是很困难的:

  • 那些除开评测大概率用户不想分享的东西(比如这篇里面这些截图),可以通过按键截屏分享:但它们的分辨率很低,跟在 AVP 里面看到的完全不是一个东西;
  • 而所有用户真正想要分享的部分(比如刚刚上线的一些足球集锦视频),按键截屏之后会被涂黑:我知道这是对 Apple 来讲成本最低的实现方式,但这种截图的时候无提示截完了之后不让看的体验无限接近于送用户一句 「fuck you」

avp_screenshot.jpg
图 6. 大部分值得分享的都没法截图

把头显直接拿给朋友去用,就更难了当然,这里有一些难度是意料之中的,毕竟它是跟用户的眼动和手动做了匹配的设备。 ,所以苹果专门开发了访客模式。

应该说,在我非常有限的分享给他人使用的过程中(前前后后就家里几个人),访客模式表现得非常糟心。哪怕「访客」条件优异(不近视,懂英文),戴上它也有可能出现各种问题。本来 AVP 有一个挺好的功能是支持连接到 Mac 上显示当前画面,如果用在访客模式的话,处于指导位的人就可以知道对方目前在眼镜里面看到了什么:但是这个功能一摘下头显就会失效,于是 deadlock 了。

结论:这部分为啥这么差劲,我想不出来原因。

AVP 初印象 - 软件(1)

这是一个系列文章里的第二部分,前面我们聊了硬件

第二部分我们来聊聊软件。Not all softwares are equal,本章主要说的是 VisionOS 和一些内置的系统软件。因为再往上一层的软件,跟内容的边界已经很模糊了,就留到内容部分去说。

目录

VisionOS

Facts

个人认为,VisionOS 是苹果在 AVP 上最重要的创新。

因为前面说的那些 AVP 在硬件上取得的领先,大概率会让其他从业者觉得:「Wow,但,好像这个我也可以。」比如 micro-LED 的供应链应该现在就有挺多人在看了。

出原生操作系统让开发人员上来搞生态,就不是所有人都可以的了。

不是不想:任何吃内容的硬件平台,都想。因为一方面网络效应会带来内容上极高的壁垒,一方面还可以躺着抽水。

主要是这活确实不好干。

PC 时代,「Wintel」算是这个玩法的鼻祖。移动互联网这么多年,也就出了 iOS并且 iOS 也是在第三代左右才开始有 App Store。 、Android脱钩或许会让中国的鸿蒙等系统壮大, 两个体系。微软这么强的公司,几次尝试都宣告失败。

XR 领域,Meta 花了好几年才把基于 Android 的 QuestOS 功能填充出来,就已经就算做得最头部的。

算法那边,nVidia 倒是好像通过「CUDA+卡」把「Windows+Intel」两家的事儿都办了,所以现在各路人马都在想办法突围。

Apple 比 Meta 轻松,因为它手里已经有了 iOS、macOS、iPadOS、watchOS、tvOS,需要想的不过是基于哪套生态来拓展比较合适。

大家现在都知道答案了,因为官方文档说:「VisionOS 基于 iPadOS,但围绕视觉驱动和低时延做了很多定制和优化,使其更加适用于空间计算。」

这里有些很有趣的话题,比如为什么 AppleTV 也有一个 OS,比如为什么最后选择了 iPadOS 等等,先不去展开。

只聊 visionOS 最终的表现的话,我用下来觉得设计和完成度上有感动到我。

这之前的 XR 世界的主机系统有些像个菜市场。用户从 launcher 启动任何应用,都可能看到完全不同的按钮、交互、拖拽方式,内容的尺寸和距离也是各自发挥。一旦应用崩了,整个系统基本上也就崩了。

visionOS 上,每个应用就比较一致的设计元素和基本交互,跑在各自的 Space 或者 Shared Space 里,就有点精品购物中心的样子了。

感动之后,既然我知道它基于 iPadOS,我还是会说 visionOS 更像一个实习生作品,虽然是那种你想留下来的实习生的作品。

这好像已经在吐槽了,那不如我们就开始 rants。

Rants

考察操作系统,一般来说有用户和开发者两个视角:

  • 用户看安不安全,好不好用,应用是不是多,质量是不是好等等;
  • 开发者看工具链是不是好用,商务和服务是不是给力,能不能赚到钱等等;

所以我们分两部分。

用户视角

开机进入visionOS对齐手眼的过程是魔法秀:用户几乎没有理解成本就能理解系统需要它做什么,在学会手眼配合的过程中,会被这个系统识别精度之高延迟之低所震撼,以至于觉得自己好像开发出了一种超能力。

不过,稍微使用一段时间,就会发现不少的问题。比如虚拟键盘的设计,比如窗口的控件太小用眼睛去选择很累,比如和其他 Apple 设备的互联互通还不够好等等。

这里以图形化操作系统最基础的工作「窗口管理」深入一下。

说它是你想要留下来的实习生写的,是因为目前的实现在实用和酷两方面都做得不错。用户刚刚开始感受一个离自己面部如此近的窗口时,会像我们读中学的时候把《足球世界》附送的海报贴到自己房间墙上一样兴奋,并且会很快贴得满墙都是。

如果去看网上的评测,会发现很多人都扔了一堆一堆的窗口,甚至有人给自己的不同房间扔下一些不同的窗口,比如卧室看片,客厅办公。

说它是实习生作品,是因为用户跟窗口做的交互比海报复杂得多。 和 iPadOS 显然经过仔细考虑的窗口管理相比,很快就会因为下面的事情感到痛苦:

  • 我们实际上工作的时候往往需要在不同的窗口里来回切换,AVP 上寻找和定位自己想要去的窗口非常困难;
  • 一些已经是标准的窗口行为,比如「隐藏」、「最小化」等,在 AVP 上面还没有实现;
  • 当窗口内容比较多的时候,下面哪个拖动和关闭的横条很难被找到;
  • 我还可以说十五条;

结论: visionOS 还不能用来办公。不仅仅是不能用来写程序,我尝试这篇日志在里面敲出来最后都放弃了(因为我写的过程中要查各种东西,还常常要处理别的事情,窗口切换和输入效率都太低了)。当然:

  • 作为 FITURE 人,其实是理解这里面的难度的。小屏(比如手机)和大屏(比如电脑、电视机)上窗口切换实际上已经有工业标准了。在中等大小的屏上窗口如何管理其实有很多难题,特别是穿戴设备还会涉及到交互方式不同且用户在不断移动;
  • 这个实际上也符合 AVP 自己的发展阶段(生产力还不是重点,比如和 macOS 打通也做得略等于无),所以长期来看可能是比较乐观的。
开发者视角

2008 年 7 月,iPhone 到了第三代,Apple 推出了应用商店,上面有大约 500 个应用。

AVP 推出时就有应用商店,上面大约 150 个应用。

iPhone 在应用商店发布后经历了 App 的指数级增长(两年后的 2010 年就有十万个应用),虽然早期的 SDK 也跟今天 visionOS 的一样糟糕,所以看起来 AVP 应用增长会比较乐观。

但 AVP 应用市场未必有指数增长。

因为 iPhone 和 AVP 开发上一个比较大的区别是,手机软件和之前的桌面软件一样,都是平面程序。而 XR 领域涉及 3D,主要的开发团队和人员,都是通过使用相对成熟的游戏引擎(比如 Unity)做这部分工作。

所以现状是 Apple 生态内的开发工具(XCode、SwfitUI 等),主要都是面向平面程序开发,新增的 RealityKit、 ARKit、RealityComposerPro 等工具在 XR 行业内比较冷门。

反过来,XR 领域的资深开发者,又对 Swift、XCode 这套工具链比较陌生。

因此在 AVP 上面做游戏或者说一般意义上做任何涉及 3D 的开发,其实是需要在两个技术栈选一个:

  • Native stack:XCode、Swift、SwiftUI、RealityKit、RealityComposerPro…
  • Unity stack:Unity、C#、XR SDK、PolySpatia…

除此之外,进入 AVP 的开发,还需要 Apple 芯片的机器最少 16GB 的 RAM 和 512GB 的硬盘。XCode 下的 AVP 模拟器从目前来看支持除开 SharePlay 和 Personas 之外的所有功能,因此不需要人手一个 AVP 真机。

选择 Native stack:

  • 好处:启动比较便宜(100 美金的苹果开发者账户);
  • 缺点:学习成本比较高,并且不能跨平台,比较适合跟 Apple 生态绑的比较紧(比如同时开发一个应用的 Apple Watch、iPhone、iPad、AVP 等各种平台的版本)的团队;

而选择 Unity stack:

  • 好处:可以利用 Unity 实现一定程度这里说一定程度,是指 Unity 为 AVP 开发的那个 Polyspatial 还很不完整,并且进度受到 Unity 裁员的影响一直不及预期。 的跨平台;
  • 坏处:除开上面的费用,还需要一个 2040 美金的 Unity Pro license。比较适合想要一套内容在多个 XR 平台上变现的团队(实际上以目前 AVP 的量,大团队肯定还会惦记着 Quest);

无论选哪套的团队,要具备生产力都还需要一些时间。所以短期内,应用市场很难有大规模的上架。

Thoughts

Apple 虽然做了个 VR 头显,但看上去基于对 AR 的执念,选择了和 Meta 完全不同的方式去建生态:游戏在里面重要性没有那么高。

但这个差异背后核心的原因恐怕不是理念不同,而是身位不同。

Meta 本身没有生态,它做新东西新体验,元宇宙、VR/MR 游戏、3D 内容,来构建生态:所以它短期内核心是把出货量拱上去,然后支撑那些 Unity 开发者在 Quest 上赚到钱。

Apple 本身有庞大的生态,它可以先兼容 Mac、iPad 甚至手机上的一些应用,把大屏看片、大屏办公往前稍微推进一下,就能让一些开发者「赚到额外的钱」。所以它短期内的核心任务是让 AVP 和 Apple 其他设备互联互通,包括开发者工具链的互联互通。

结论: 作为创业团队,我们不要在 Apple 做好 Unity 兼容前上去搞游戏,也不要在 Quest 就是个娱乐机的今天上去搞应用。也许有天两条路会交叉,但那只跟那时候还活着的团队有关系。