“If you can’t measure it, you can’t improve it.”对于迅速发展的新兴行业而言,构建一套高效的标准化测评体系显得尤为迫切和必要。
凭借着两把自研的高性能“标尺”,甬江实验室近期摘得2024国际显示技术大会I-Zone创新区唯一的一等奖,以及一个三等奖,成为该区域获奖最多的团队。两个项目的领衔人——新型显示与感知研究中心副主任赵蕾研究员获得SID China“青年领袖”称号。
国际显示技术大会(ICDT),是全球显示产业极具领导地位的专业学术和技术组织——国际信息显示学会(SID)所属的独立品牌国际会议,自2017年首届ICDT成功举办以来,已在中国多个城市巡回举办,有着行业“风向标”意义。SID China是SID首个在美国之外成立的海外运营实体,代表着中国显示技术和产业的专业与权威。
本届ICDT大会以“预见显示技术发展趋势”为主题,举办多场专业论坛和技术成果展示。在I-Zone创新区,甬江实验室展出的两台自主研发设备——高精度人眼模拟设备和PTP延时测试设备,分别荣获一等奖和三等奖。
甬江实验室推出的这两个创新项目具有哪些独到之处?它们将如何影响未来的产业发展?让我们走近项目组,聆听科研人员的解读。
高精度人眼模拟设备
眼动是XR技术“最关键构成部分之一”,它能快速准确检测使用者在VR设备内的注视方向,为虚拟形象带来更真实的表达,并有侧重地渲染图像,从而大大降低计算能耗。因此,将眼动追踪技术植入AR/VR设备已成趋势;而眼动追踪能力强不强,也成了评测设备性能的关键指标。
那眼动追踪能力又怎么评测呢?目前各大厂商在进行眼动追踪测试时多采用真人实测法,而这种测评法存在着时间成本过高、测试精度不足、不可重复、主观性大、可能涉及隐私侵犯等弊端。
除了前述问题,作为战略性新兴产业,新型显示产业的高质量发展离不开标准化支撑,而目前针对眼动算法的测试缺乏行之有效的手段,更没有统一的标准。
“一台高稳定性、高精度的检测分析设备非常有必要,但目前市面上缺乏类似产品。”甬江实验室新型显示与感知研究中心副主任赵蕾说,“既然致力成为中国XR技术引领者,解答这道难题就显得责无旁贷了。”
于是,2022年12月,高精度人眼模拟设备项目启动。经过八个月紧张研发,包括仿生眼结构设计、高性能材料开发、眼动控制算法开发、眼动AI模型搭建,首台原型机在2023年8月诞生,并在同年11月的新型显示与感知中心揭牌仪式上首次对外亮相。截至目前,该项目申请了8项核心专利,发表3篇论文。
据悉,高精度人眼模拟设备是新型显示与感知中心第一台自研设备,实现了三大创新——
创新点一,具有一双超级仿生眼。“基于人眼结构及光化学特征,因此能欺骗头显设备按照人眼模式成像、通过校准。”项目开发工程师梅光行解释,这套模型对瞳孔直径、眼球组合曲率等形状参数进行了一比一还原,对虹膜、角膜的反射率、折射率等光学特征进行了建模复现,适用于市面上95%以上AR/VR设备的眼动方案。
创新点二,实现人眼级运动控制策略。人眼的运动速度最快可达到750°/s以上,长时间聚焦一个地方时,人眼不自觉的会有颤动。机器如何实现最佳“凝视”?科研工程师通过高精度多轴电机实现了设备对人眼运动模式的仿真,且静态注视精度达到0.01度。
创新点三,基于数字孪生的人眼轨迹模仿。科研人员开发了轻量化人眼动态AI大模型,该模型学习了高价值的多人群眼动数据,高度还原人类眼动轨迹,轨迹贴合度高达90%以上。
梅光行介绍,利用这套自研设备,项目组对市面上主流的VR头显进行眼动算法精度测试,不同视觉深度、不同光锥夹角下,眼动追踪精度的平均误差在0.5°~3.5°,标准差在0.04°~2°。“误差越小,说明头显的眼动追踪精度越高。”
对于中心首台自研设备的表现,赵蕾称符合最初预期,它不仅适用于XR领域,还能应用于人型机器人视觉感知系统,但设备仍在持续优化。“ICDT 2024我们带去的是2.0版本,5月份交付的设备是融入了自反馈功能的3.0版本,无论是性能还是设计上都将有大幅度提升。”
PTP延时测试设备
如果你体验过 VR 头显,大概率有过晕眩体验。这种症状被称为“晕动症”,和晕3D一样,都是大脑中的前庭器官在作怪。延时高是晕动症的一个主要因素,人类能够明显察觉到20毫秒以上的运动延时,因此更好的虚拟现实体验,就要破解“延时”难题。
精准衡量,方能有效施策。然而,目前行业内多采用高速相机捕捉头显中图像的变化来进行延迟测试,而这种测试法单次采样效率低,且限于相机曝光时间和屏幕刷新时间,测量最高精度都大于1毫秒。
“测量器具的精度至少是被测对象的百分之一或更小才合理,而全球最新发布的头显设备PTP延时宣称能做到12毫秒以内。显然,现在的检测手段不够用了,我们得打造一把测量精度更高的‘尺’。”PTP延时测试设备开发人员肖龙云说。
抓住这一需求痛点,新型显示与感知研究中心在2023年3月立项,经过一年的设计、打样和验证,PTP延时测试设备在今年3月实现量产。此外,该项目已申请了3项专利、1件软著,发表了1篇高级别论文。
这台设备被项目组戏称为“面壁者”——全黑的“人头”面对着一块显示屏。“‘面壁者’的检测能力强大,测量精度高达0.086毫秒,并且能保证长时间稳定测试运行。”肖龙云说,准确性、稳定性显然是一台检测设备的核心要素。
优越性能实现的背后,是大胆想象和持续攻关。为了避免多个设备多级同步和电子延时等问题,研发人员采用光信号耦合创造性地实现了纯光学测试。而通过自研的区间寻优算法,又在被测产品的系统频率及相位均是未知数的情况下,实现了稳定测试,频率误差<1μHz,也就是说做到了百万分之一误差的高精度。
当然,这台设备的“厉害”远不止于此。“我们可以为MR产品开发者提供同步接口,这样的话,通过硬件控制光源纳秒级同步触发,采样频率更精准,单次调试精度可达到0.005毫秒。希望这台设备能高效地帮助厂家改进产品,为用户带来更好的混合现实体验。”肖龙云称。
据悉,甬江实验室这套VST(Video See-Through,视频透视)测试法已在虚拟现实与元宇宙产业联盟XRMA立项,而“面壁者”也广受业界青睐,二十多家企业和机构已发来意向订单。
近期参展并获奖的高精度人眼模拟设备和PTP延时测试设备,是甬江实验室XR测试平台四大自研设备中的两款。在ICDT 2024青年领袖论坛上,赵蕾作题为“推进XR显示技术:测量和校准的重要性”的报告,并向与会者介绍甬江实验室XR评测平台的建设情况。
“XR行业正在快速发展,然而现有的评价体系并不完善,急需建立一个标准化的科学评价系统。”赵蕾说,为此甬江实验室搭建了XR评测平台,基于先进的测试设备和算法来综合性评价虚拟现实(VR)和增强现实(AR)产品和设备性能。
目前,XR测试平台有六大测试系统,包括近眼光学测试系统、显示测试系统、空间感知测试系统、动态感知测试系统、人机交互测试系统和ISP测试系统;有22类自研算法,实现了XR空间计算技术的全覆盖,如手眼交互的Eye Tracking、Hand Tracking算法,感知和追踪的SLAM算法,近眼显示的CAC、POV算法等等,这些算法在实现极致的MR体验上起到关键作用。
“XR测试平台不仅支撑实验室科研,也为产业界提供XR技术全面测评,参与制定行业标准和国家标准,后期会根据行业发展的实际情况不断改进优化。”赵蕾说。
此外,ICDT 2024期间,甬江实验室研究员贾韬、博士后柴诚哲分别以“Gaze Dependent Optical Artifacts and Compensation for Virtual Reality Headsets”、“Photopolymer Based Volume Holographic Grating Waveguide for AR/MR Glass”为题作分论坛学术报告。
“要解决‘有没有’的问题,还要解决‘好不好’的问题。”赵蕾研究员说,新型显示与感知研究中心致力于成为中国XR技术引领者,完整技术解决方案永远在路上,任重道远。
新型显示与感知研究中心
甬江实验室新型显示与感知研究中心致力于成为中国XR的引领者,解决XR核心技术难题,落实XR产业解决方案。
目前主要研究方向聚焦:XR空间定位和感知项目、近眼光场和3D显示项目、眼动追踪项目、XR测试平台、u-LED项目、人因项目、体全息光波导项目、扩展现实原型平台及其应用项目。
招募热爱科研、富有科研精神、对XR有浓厚兴趣的实习生(工程背景优先)。
联系方式
邮箱:DS2@ylab.ac.cn
微信公众号“XR评测”