荔枝集团音质高保真AI降噪技术领跑世界

荔枝音频处理的目标是两个字：安静-清晰，安静。让用户听起来更清晰、更好。技术副总裁刘晓宇指出了音频技术需要克服的一些困难。

随着直播、在线社交、在线课堂、在线会议等领域的快速发展和元空间产业的扩展，音频技术发挥着越来越重要的作用。但是，流行的直播视频、音视频群聊、一对一语音匹配聊天等社交场景，伴随着嘈杂的环境噪声，如键盘敲击声、家中宠物的噪音、孩子的哭声等，通过交互场景传送到接收者的耳朵，语音社交过程充满了干扰。近日，来自位于大湾区的“中国音响第一股”丽思集团，该公司在大湾区的音响技术团队推出了AI降噪，采用硬件或软件降噪、不同软件降噪算法、降噪与场景相结合等方式。它可以有效地抑制交互式娱乐场景中的音频视频通话过程中的背景噪声，保证语音完整，最终可以有效地提高在各种复杂场景中的实时交互体验。目前，Liti集团的音质高保真降噪技术处于世界领先地位。

技术副总裁刘晓宇此前参加了华为开发者大会1.大湾区团队AI降噪实现了强大的降噪和高保真度，引领世界随着在线互动娱乐的普及，现场互动娱乐场景的重要性日益凸显。利智集团音频技术负责人魏敦晓表示，不同的线上场景，对高品质音频体验的需求也不同。例如，在教育场景中，重点是知识的获取和清晰及时的互动。在会议场景中，重点是语音的流畅性和清晰度。在娱乐场景中，除了吸引用户的有趣内容外，音频的高音质体验和互动功能是让用户不断参与的最重要因素之一。随着计算能力的不断增长，基于大数据的学习AI语音降噪算法具有强大的能力，使实时AI语音降噪算法在互动娱乐场景中成为可能。与传统的降噪算法相比，Lithi Group技术团队自主开发的AI降噪效果得到了极大的提升，可以有效地抑制甚至最小化在现场场景中经常遇到的噪音，比如点击键盘、喝酒、背景讨论等。“在互动娱乐业务场景中，考虑到CPU性能和降噪处理时间，采用混合架构进行全频段降噪，低频采用AI模型处理，高频采用传统降噪处理。“魏说。在众多用户的使用和反馈中，丽智集团音响技术团队发现，在互动娱乐和社交产品的使用场景中，瞬态噪声相对较多，尤其是在触控声和吃薯片等家庭场景中，所占比例较大。Lithi Group的技术团队可以使用网站中的大量语音样本来过滤掉不想要的语音，特别是在Lithi应用程序中的多人语音场景中，即使每个人都在同时说话，每个人都能更清楚地到达接收者的耳朵。“虽然AI降噪比传统降噪具有更高的降噪能力，但对语音造成伤害的可能性更大，而AI降噪几乎没有语音损伤，每个人都可以将语音传输到高保真度。此外，为了保证各大平台在低音质损坏、高性能、低功耗下运行，立迪集团音频研发人员选择了前10款手机型号，并进行了大量的实验和反馈，确保用户设备不会崩溃。据悉，荔枝集团在音频互动娱乐场景中的高品质AI降噪技术已经走在世界前列，为大湾区和中国互动娱乐场景中的音频娱乐沉浸式体验发展奠定了良好的基础。

2、了解互动娱乐场景的新突破音频行业AI技术的发展迄今为止，算法、非数据场景和行业知识是关键。发展就是让声音“在声音中”。它消除了所有影响现场感觉的因素，如噪音、回声和噪音，并根据真实或虚拟环境重建声源和空间感知。Lizhi APP的常见场景是直播+连梅的场景。也就是说，主播大部分时间都是单直播，用户一般都是以听众的角色来听，但有时也可以点击代表“连梅”的按钮上线，主播在收到连梅请求后，通过后，这个用户可以与RTC系统中的主播进行实时交互。锚可以依靠强大的锚引擎为直播添加音乐和音效，或调用控制台进行声音美化或通过声音转换增强互动娱乐。在这种情况下，多个主播在房间里进行互动或娱乐表演，用户可以与麦克风和主播互动。主机或用户在RTC系统中，侦听器可以加入RTC系统或通过CDN进行流式传输。要进行降噪，首先要进行语音理解，然后通过语音理解分析场景中的各种音频。在玩荔枝社交产品时，用户喜欢吃薯片，敲击键盘，喝冷苏打水，触摸不同的声音。生活中有很多种噪音，比如家里做饭的声音、打扫电器的声音、台风的风等等。要成功地处理这些声音，业界公认的技术是最难的。“要深入了解降噪，首先要了解我们的产品想要解决的噪音，然后降低噪音。这是一个非常适合商业场景的创造。据Lithi集团音频技术魏敦晓介绍，互动娱乐场景与其他场景相比，其技术差异的方向主要在于接入不同的外围设备，支持多声道，需要人工智能语音改变，语音理解和链接音质的提升。与会议场景中声源的主要声源采集输入通道不同，娱乐场景需要在锚端支持音乐播放通道、声音播放通道、屏幕共享通道等，以丰富娱乐内容。当主持人进行才艺表演或播放音乐时，整个互动娱乐场景的音质要求将得到提高。在音频体验方面，用户可以像本地一样沉浸式地参与交互场景，不受周围噪声输入的干扰，这对音频行业来说是一个很大的技术难题。“Lei Audio的AI降噪就是找到噪声的特征，然后进行有针对性的降噪。AI可以做什么，不管它吃什么？我们将敲击、碰撞和噪音注入到这个学习系统中，人工智能可以识别它并在以后处理它。Lithi小组的技术人员记录语音训练算法。不过，技术副总裁刘晓宇也补充说，在一些硬件不覆盖的场景，如音乐场景、屏幕共享视频声音场景，在主要语音场景中，算法差异不大。（硬件将填补空白），对音质要求更高，这需要核心算法的突破，“目前，这对整个行业来说是一个很大的挑战，团队正在进行相关的技术研究，以应对未来的场景。一家主要厂商的业内人士对这项技术表示赞赏，荔枝集团的AI降噪在音质保护方面达到了“意想不到的高水平”。刘集团技术副总裁刘晓宇总结说，随着元宇宙的到来，用户对声音质量、沉浸式体验、接入设备效果、低延迟、空间音频技术、环境声学模拟等提出了越来越高的要求。荔枝集团的技术团队不断向前迈进，使中国互联网音频社交技术成为世界领先者。