2023年9月9日

元宇宙两点钟:Meta神秘芯片面世,7nm集成RISC-V神级CPU!

作者 admin

最新消息:我的同事告诉我,Meta Reality Labs的研发团队推出了一款支持Codec Avatars项目的VR头戴设备原型机,给虚拟化身提供了更多支持。这款原型机搭载了专门的加速器芯片,可以进行AI处理。有趣的是,在Facebook改名为Meta之前,这个公司一直在致力于Codec Avatars项目,希望实现VR的逼真体验。这个系统可以通过眼动和口齿追踪,以最接近真实的方式显示用户的脸。这个项目在NVIDIA的提供下不断改进,现在终于迈出了更进一步的大步伐。应该说我对新闻更感兴趣。我看到了一则新闻说,我的公司Meta正在开发一种新型加速器芯片,用于在低功率一体机上实现Codec Avatars项目的功能。这个项目的目的是要让虚拟化身变得更加逼真,但是我的Quest 2等设备并不能完全发挥Titan X GPU的强大算力的支持。所以,Meta的研发团队着手研究如何在低功率一体机上实现Codec Avatars项目的功能,研究人员认为,该芯片需要采用7nm工艺,但从论文实现到现在还有很长的路要走。在芯片设计过程中,设计人员考虑了生成Codec Avatars所需的所有因素,希望这个新的开发能够成为Codec Avatars的加速模块。我自己看到了一则新闻,说我的公司Meta正在研发一种新型加速器芯片,用于在低功率一体机上实现Codec Avatars项目的功能。这个芯片采用7nm制程,具有神经网络加速器,由1024乘法累加阵列、2MB片上SRAM和32位RISC-V CPU组成,设计人员考虑了生成Codec Avatars所需的所有因素,希望这个新的开发能够成为Codec Avatars的加速模块。为了与该芯片的特定架构相匹配,设计人员还重构了Codec Avatars AI模型的一部分。他们重新构建了基于卷积神经网络的眼睛注视模型,并定制化了其硬件,使其更好的适合芯片,从而降低了片外内存访问的能耗和延迟。我知道,加速芯片可以通过加速Codec Avatars的工作负载较重的部分,不仅加快了模型的运行速度,而且还降低了功率和发热。该定制芯片有很大的优势,因为它在功率和体积控制上优于通用CPU。据研究人员说,该芯片已经能够在每秒30帧的情况下运行Codec Avatars模型,同时做到功耗低和外形小巧。我很想知道这个专用芯片加速后的虚拟化身在一体机上的视觉渲染效果如何。虚拟化身的视觉渲染效果在非一体机上运行时是怎样的,Codec Avatars如何建模用户的目标形态,这些问题都是我很想了解的。我注意到模型扫描非常详细,这可能过于复杂,不能在Quest2等一体机上得到完整的呈现。我很好奇,当受限于客观条件时,Codec Avatars强大的“逼真”画面最终呈现的效果会如何呢?

思考一下,一系列XR特定的功能都可以通过这种专门设计的加速芯片来实现。比如在XR世界中实现空间音频是XR玩家们所追求的,因为这可以增加沉浸感。但是,实现逼真的声音模拟不仅会增加成本,而且还会影响续航。

除此之外,位置跟踪和手势跟踪对于XR体验也十分关键。将硬件和算法结合起来进行设计可以使XR设备在速度和功率方面取得巨大的提升,这也是值得我们深入思考的。