网易云信中登场的GIAC世界互联网架构大会，解除新一代音动画架构的场景是元宇宙[实践]

7月22日，2022GIAC全球互联网架构会议在深圳隆重召开。GIAC面向架构师、技术负责人、高端技术从业人员等，是中国规模最大的技术会议之一。每年作为互联网技术的盛会，以“元宇宙”、人工智能、Web 3等话题为中心聚集了100多名资深技术专家，为所有参与者带来了技术升级和收获之旅。

网易云聊天音频/视频架构师饶世铖应邀参加本次会议，并带来新一代音元宇宙场景实践视频架构主题。全面介绍了元宇宙场景给声频架构带来的挑战和网易云信新一代音视频架构的破裂策略和实践落地。

掘金、元宇宙、网易的技能。

元宇宙作为主题特设会场的第一分享嘉宾，饶世铖首先介绍了元宇宙的发展历程。ldquo；元宇宙rdquo。1992年美国sf作家尼尔米德多特设计的《雪崩》以自由奔放的想象力构筑了现实世界和虚拟空间共存的系统。2018年《头号玩家》的上映使大众对元宇宙产生了具象化的认识；到2020年，Roblox的成功市场将完全引爆元宇宙，引领全球科技大厂，基于自身的先发技术优势掘金元宇宙产业。

这个宏伟的世界需要什么样的基础技术呢元宇宙的实现需要6种技术，即区块链、物联网、网络和运算、人工智能、视频游戏和交互设计。自2011年起，网易开展了AR、VR、虚拟人、超低延迟音频/视频、区块链、云游戏等元宇宙相关技术储备和规划，是中国最早在元宇宙领域的科技公司之一。

基础设施层拥有以we-can全球智能路由、AI计算平台、AR/VR、区块链、智能硬件等为代表的核心技术。基于这些核心技术，网易智企业、网易伏羲、网易星、简单沉淀先进科技等平台，在平台上形成了一系列可靠的元宇宙解决方案。在游戏、社交、电子商务、金融、教育、医疗等各个领域都取得了最好成绩实践。

[元宇宙]这是传统音频/视频体系结构的两个挑战。

ldquo；[元宇宙]一方面强调沉浸感、重现性强的交互体验，另一方面，场景更加复合、复杂性高，对传统的音频/视频体系结构提出了挑战。rdquo；显示饶世铖。

首先，简单的视频通话、语音聊天、实时等交互方式无法满足元宇宙场景的需要。超低延迟音频/视频、业务数据传输、人脸数据实时提取、表情和动作过渡、实时声音3D声音等关键技术成为元宇宙的关键要素。推动关键技术创新优化，突破现有音频/视频相关技术的边界，为用户提供终极沉浸体验，已成为音频/视频架构面临的强有力挑战。

第二，元宇宙音频/视频服务复杂多样。许多服务同时具有RTC、超低延迟数据传输、低延迟实时流等需求。您需要独立集成以满足您的需要，而且访问方式也不同。我们如何设计一个优秀的SDK体系结构，在提供高可用性和高稳定性功能的同时，通过技术组合将所有业务融合在一起，为用户提供一站式解决方案。这是音频/视频体系结构的第二个挑战

破局之策，网易云信音频电视架构的优化与实践

针对上述两个挑战，《网易》云通信公司构建了《新一代音》视频引擎NERtcEngine和《新一代音》视频融合SDK NERtcSDK。

新一代音视频引擎：NERtcEngine

NERtcEngine专门为实际业务场景设计，是实现超低延迟数据传输的数据引擎。同时，元宇宙针对越来越多的智能算法和AI算法，重构算法集成方式，设计并实现了基础算法组件引擎。

在超低延迟数据传输架构的设计上，网易云聊天设计了独立的数据传输通道，在保持现有音频/视频数据传输通道的稳定性和效率的同时，分别制定了传输协议、收发控制单元、QoS调整策略。此外，大规模分布式实时传输网we-can是行业第一个独立于商业逻辑的基于传输层，部署在全球数百个主要国家和地区，配合各地区的数据安全政策，包括IM消息、音频/视频实时、现场、点播、全面覆盖白板等产品场景。两条相结合，实现了超低延迟的数据传输。

在算法组件的设计上，网易云将所有算法集成到统一接口中，以非常友好的方式进行集成。它还支持插件化集成，每个算法作为独立的单元进行插件化，可以灵活地实现算法的定制集成。更具扩展性，后续算法只需实现相应的集成API，即可快速、轻松地集成到框架中。

新一代音NERtcSDK。

NERtcSDK是网易云服务新一代音视频业务融合SDK。元宇宙在业务场景中，更广泛、更深入的融合为用户带来更大的价值。

传统业务需要根据需要访问SDK。在NERtcSDK的融合架构设计中，用户只需连接到一个SDK，就可以同时进行RTC、虚拟人、低延迟实时发布、超低延迟数据传输等业务。它在复杂的集成场景（如三维虚拟人机交流、虚拟实时展示等）中大大提高了用户访问的速度和效率。大大降低了访问成本

饶世铖另外，介绍了网易云消息收发SDK的代表性解决方案mdash。mdash；通过高连接方案的设计、应用保活、融合呼叫、通话辅助的ldquo；三板斧rdquo；它覆盖了大部分调用场景，提高了调用率，并保证了应用程序的连接率。

加速加速“元宇宙”的技术落地

ldquo；所有技术的积累，只有在真实的场景落地后才能看到价值。rdquo；网易云介绍元宇宙的技术布局后，饶世铖表示网易推进元宇宙ldquo。从虚实进入rdquo；有几个例子

饶世铖主张，应用不仅将现实世界转移到虚拟世界，从离线转移到在线，而且在提高生产率、改善社会生活等方面具有真实价值，加速相关产业的发展。

遥感机械辅助传统产业的数字转换。即使在网络环境恶劣、恶劣的室外作业环境下，也无需深入现场，可以通过手机遥控挖掘机进行生产作业。这样不仅可以降低劳动强度，还可以从根本上排除人员伤亡的危险，帮助提高生产效率。

AI虚拟客户服务在金融智能虚拟客户服务、互联网医疗远程诊疗、新闻虚拟主播、社交娱乐虚拟偶像、电子商务虚拟直播等场合越来越常见。与一般的虚拟模式解决方案不同，用户只需连接到一个SDK，就可以同时拥有虚拟模式服务、RTC、实时发布等功能。同时，开发客户端和云双渲染技术，以满足不同客户和场景的实际需求。

网易瑶台是中国第一款元宇宙落地产品，区别于传统视频会议的单一演示方式，瑶台更有虚拟沉浸感，更能满足现实世界的迫切需求。网易曾经将世界投资者会议的举办地转移到瑶台虚拟世界，来自世界许多国家的200多名投资者，通过自己的虚拟形象，交流网易业务的最新动向。此交互式场景基于“网易”云外包的we-can全球智能路由网络和融合通信能力。

元宇宙除了干货共享的主题外，网易克劳德索辛格在全球互联网架构会议上设立了专门展台，吸引了众多参观者。