全部 高分子 智能汽车 陶瓷 消费电子 弹性体 生物降解 5G材料 光伏 医用材料 锂电 汽车材料 新消费电子 会议列表 展会 半导体 LED 氢能源 艾邦人才网
Meta为一体式VR头显开发定制芯片
Meta Reality Labs 科研人员近日研发出一款 VR 头显原型,内置了一个专门用于处理人工智能的定制加速器芯片,使在独立头盔上渲染该公司的逼真的 Codec Avatars 成为可能。


图片

在公司更名之前,Meta 公司就一直在推动 Codec Avatars 项目,该项目旨在使 VR 中近乎逼真的头像成为现实。利用设备上的传感器(如眼球追踪和嘴巴追踪)和人工智能处理的组合,该系统以逼真的方式实时为用户制作详细的动画。

Codec Avatars 项目的早期版本需要使用 NVIDIA 的 Titan X GPU 进行渲染支持,这使得像 Meta 最新 Quest 2 这样的移动独立头显无法驱动这些需求。

于是该公司已经开始研究如何在低功率的独立头显上实现 Codec Avatars,上个月召开的 2022 年 IEEE CICC 会议上发表的一篇论文证明了这一点。在这篇论文中,Meta 公司透露它创建了一个用 7 纳米工艺制造的定制芯片,作为专门用于 Codec Avatars 的加速器。

图片

根据研究人员的说法,该芯片远非现成的。该小组在设计它时,考虑到了 Codec Avatars 处理管道的一个重要部分,特别是分析传入的眼球追踪图像,并生成 Codec Avatars 模型所需的数据。该芯片的占地面积仅有 1.6mm²。

图片

研究人员写道:“在7纳米技术节点制造的测试芯片具有一个神经网络(NN)加速器,由1024个乘积(MAC)阵列、2MB片上SRAM和一个32位RISC-V CPU组成”。反过来,他们也重建了Codec Avatars人工智能模型的部分,以利用该芯片的特定架构。

研究人员表示:“通过重新构建基于卷积[神经网络]的眼睛注视提取模型,并为硬件量身定做,整个模型适合在芯片上使用,以减轻系统级能量和片外内存访问的延迟成本。通过在电路层面有效地加速卷积操作,所提出的原型[芯片]在低外形尺寸下实现了每秒30帧的性能和低功耗”。

图片

通过加速 Codec Avatars 工作负载的密集部分,该芯片不仅加快了进程,而且还减少了所需的功率和热量。由于芯片的定制设计,它能够比通用CPU更有效地做到这一点,然后为Codec Avatars的眼球追踪组件的重新架构的软件设计提供参考。

但头显的通用CPU(在这种情况下,Quest 2的Snapdragon XR2芯片)也没有闲着。当定制芯片处理Codec Avatars的部分编码过程时,XR2管理解码过程和渲染化身的实际视觉效果。

图片

这项工作一定是相当多学科的,因为论文中提到了12名研究人员,他们都来自Meta的现实实验室。H. Ekin Sumbul, Tony F. Wu, Yuecheng Li, Syed Shakib Sarwar, William Koven, Eli Murphy-Trotzky, Xingxing Cai, Elnaz Ansari, Daniel H. Morris, Huichu Liu, Doyun Kim, and Edith Beigne。

令人印象深刻的是,Meta的Codec Avatars可以在独立的头戴设备上运行,即使需要一个特殊的芯片。但我们不知道的一点是,头像的视觉渲染是如何处理的。用户的底层扫描是高度详细的,可能太复杂而无法在Quest 2上完全渲染。目前还不清楚在这种情况下,Codec Avatars的"逼真"部分被保留了多少,即使所有的基础部分都在那里以驱动动画。

来源:cnBeta


相关推荐
视场角FOV的原理及应用
视场角FOV的原理及应用
0
0
0
星纪时代战略投资魅族科技,进入XR与可穿戴新赛道
​2022 年 7 月 4 日,湖北星纪时代科技有限公司(以下简称「星纪时代」)与珠海市魅族科技有限公司(以下简称「魅族科技」)在杭州举行战略投资签约仪式,正式宣布星纪时代持有魅族科技 79.09% 的控股权,并取得对魅族科技的单独控制。双方将携手致力于为用户提供多终端、全场景、沉浸式融合体验的核心产品。
0
0
13
AR/VR基础原理——3D深度视觉(下)
AR/VR基础原理——3D深度视觉(下)
0
0
8
耐德佳承接江西省光学检验中心技术运营及产能升级
耐德佳承接江西省光学检验中心技术运营及产能升级
0
0
5
618 VR销量2亿!
2016年曾被称为“VR元年”,但往后的每年,都像是“元年”却又都不算“元年”。直到2021年“元宇宙”翻红出世,一统VR、AR、MR等概念,获得各界的认可。
0
0
5
AR/VR新闻合集:联合光电|京东方|腾讯|Meta等
AR/VR新闻合集:联合光电|京东方|腾讯|Meta等
0
0
17
​大朋VR 完成新一轮数千万元融资,游戏级VR新品即将上市
近日,大朋VR(www.dpvr.com)宣布完成新一轮数千万元融资,由华强资本,谦宜资本和联合光电(300691.SZ)旗下产业基金联芯基金联合投资。这笔融资将助力大朋VR在核心技术、产品研发、高精尖人才引进、上下游生态等方面持续加大投入,在“元宇宙”赛道布局竞争日趋激烈的关键阶段,进一步完善全球化市场布局,扩大大朋VR在产品、技术和市场份额上的领先优势。
0
0
6
三利谱:Pancake折叠光路上的光学膜解决方案
三利谱:Pancake折叠光路上的光学膜解决方案
0
0
25
Rokid与 Cocos 达成战略合作,共建AR高质量内容生态圈
Rokid与 Cocos 达成战略合作,共建AR高质量内容生态圈
0
0
12
MR厂商燧光科技完成1.25亿元A4轮融资,新一代混合现实交互系统三季度上市
国内MR厂商燧光科技近日宣布完成共计1.25亿元的A4轮融资,融资由电信方舟、中原前海、动平衡资本、宏太精鹰、三七乐心(广州)产业投资等共同完成,历史融资额近3亿元。
0
0
12
歌尔股份董秘:公司在VR/AR精密光学器件及模组等领域内具有领先的市场地位和综合竞争力
歌尔股份董秘:公司在VR/AR精密光学器件及模组等领域内具有领先的市场地位和综合竞争力
0
0
19
VR/AR行业将进入新一轮增长周期,欧菲光发力元宇宙打造发展新引擎
​近日,据媒体报道,苹果realityOS商标被发现已经完成注册,而注册公司为“Realityo Systems LLC”,该公司地址和macOS California发布前使用的地址相同。realityOS是一款针对AR/VR设备的操作系统,即在苹果AR/VR设备搭载。
0
0
16
2026年中国AR/VR市场规模将超130亿美元
​IDC近日发布最新预测数据,2021年全球AR/VR总投资规模接近146.7亿美元,并有望在2026年增至747.3亿美元,五年复合增长率(CAGR)将达38.5%。其中,中国市场五年CAGR预计将达43.8%,增速位列全球第一。
0
0
18
大幅提升整机散热能力,vivo公开VR冷却专利
集微网消息(文/姜翠)企查查APP显示,5月17日,维沃移动通信有限公司公开专利“头戴显示设备及其散热方法”,发明人为唐艺,公开号为CN114513939A。
0
0
29
果链立讯精密、长盈精密均已布局AR/VR领域
2022年5月17日,长盈精密召开2021年年度股东大会。长盈精密表示,在AR/VR领域已经与核心客户建立长期战略合作关系。在业绩说明会上也透露,AR/VR已有营收贡献,随着研发项目不断落地,还将不断增长。
0
0
24
EM3发布分体式AR眼镜——Stellar Pro
经过半年的研发,EM3推出了一套面向专业开发者的AR设备,代号为Stellar Pro。整套系统提供了SLAM和高精度3D裸手交互和的AR相关API,并且提供了直接运行cuda生态的神经网络模型的能力,省去了二次转换的步骤。
0
0
22
eMagin 发布超薄 VR 用4K MicroOLED显示器
在 2022 年显示周上,eMagin 展示了用于超薄VR头戴显示设备的 4K Micro OLED微型显示器。
0
0
21
JDI和群创光电推出用于VR头戴设备的3K超清LCD
日本显示器公司 (JDI) 是全球最大的显示器供应商之一,成立于 10 年前,由索尼、东芝和日立的 LCD 制造部门合并而成。群创是中国台湾最大的液晶显示器生产商。
0
0
25
AR/VR光学模组头部企业「耐德佳」宣布完成B+轮融资
近日,国内AR/VR光学模组头部企业耐德佳完成产业资本和行业资本联合参与的B+轮融资,本轮融资主要应用于AR/VR光学模组产能提升、技术研发升级等。
0
0
19
多射植入注塑(MSIM)在AR/VR中的应用
多射植入注塑工艺技术顾名思义就是兼顾注塑、植入,使用新的立式注塑设备,根据不同产品,进行对机台的定制化,使用双射多工位植入注塑工艺,满足AR/VR眼镜植入、多射的产品需求。
0
0
19