从“线上互动”到“实时临场感”，走向实时互动技术新世代！丨XDC 2022
从“线上互动”到“实时临场感”，走向实时互动技术新世代！丨XDC 2022
三星堆上新全国观众“云考古”，诗词大会 1000 人同屏开麦，故宫古文物 22 倍高清放大，近些年来，音视频领域高速发展，带来一场又一场视觉盛宴，背后离不开实时互动技术的助力。
新冠疫情加速了全球范围的数字化转型，在线上办公、活动和娱乐的实时互动场景越来越多。在线虚拟陪伴不再新奇，协同办公工具频繁使用，人们的生活方式、工作方式、娱乐方式，都潜移默化的发生了改变。
实时互动技术正实现从“在线”到“在场”的转变，推动互联网朝以“临场感”为特征的下一次变革。随着 5G、大数据、云计算等技术的深入交叉发展，以及元宇宙等概念的推广，实时互动技术将加速赋能千行百业，不断拓宽边界。
在 7 月 22、23 日即将举办的第二届稀土开发者大会(XDC 2022)上，由声网技术 VP 冯越作为出品人的《实时互动技术新世代》专场，将探索实时互动技术的最新趋势，分享实时互动领域的最新进展和工程实践，本届开发者大会免费报名中，点击文末阅读原文或识别海报二维码即可与各位牛人分享交流。
演讲主题：下一代 Web 实时音视频技术和开发实践
WebRTC 1.0 标准化落地使得 Web 平台具备了基本音视频互通能力，但实时音视频互动新场景中的新需求例如背景分割、美颜、超分、AI 降噪、空间音频已超出 WebRTC 1.0 覆盖的用例。如何提供差异化的音视频体验，并且保证复杂使用环境下的可用性成为了 Web 平台面临的新挑战。本主题演讲将结合 W3C 推行的一系列新标准探讨下一代 Web 实时音视频技术架构的建设。
演讲大纲：
- Web 平台的 RTC 方案
1.1 WebRTC 方案与非 WebRTC 方案
1.2 WebRTC Next Version（WebRTC NV）用例
1.3 WebRTC NV 的媒体处理需求
- Web 媒体处理新标准及其实践
2.1 媒体流数据：Insertable Streams for MediaStreamTrack
2.2 媒体编解码：WebCodecs
2.3 媒体流处理：WebGL/WebGPU、WebAssembly
2.4 媒体流传输：WebTransport
- 下一代 Web 实时音视频技术架构
演讲嘉宾：冯盛源 声网高级软件开发工程师
2021 年加入声网，主导 WebRTC Next Version（WebRTC NV）项目开发，致力提供差异化的实时音视频互动体验。
演讲主题：互动白板的开发难点：冲突处理和扩展开发
主流的会议软件或者教学软件都配备了强大的互动白板系统，那什么场景中我们才会需要互动白板来辅助教学或者会议呢？本次分享主要围绕着以下三个核心问题展开来介绍互动白板。1. 对比一般的屏幕分享互动白板有哪些难以取代的功能和优势？2. 互动白板通过哪些技术来实现这些的呢？3. 互动白板以后会沿着怎么样的技术路线发展。
演讲大纲：
- 互动白板的使用场景和优势
1.1 传统：教学、会议；新场景：VR、游戏等
1.2 优势：低带宽、强互动、隐私保护
- 互动白板的技术难点
2.1 互动系统的整体架构
2.2 互动应用冲突解决模型
2.3 实时数据库服务
2.4 基于 Web 的跨平台和扩展
- 互动白板的发展演进
3.1 技术：随着前端工程化的生态变丰富以及 Wasm 等底层技术发展，互动白板的生态和体验都会快速进化。
3.2 场景：随着插件生态的丰富，会在越来越多的场景中被使用。会往在线互动系统的方向演进。
- 如何基于我们的开源项目快速上手
4.1 基于 Fastboard 快速接入启动
4.2 基于 Flat 修改上线
演讲嘉宾：伍双 声网互动应用创新部门负责人
主要负责声网互动白板相关业务，以及实时互动开源项目 Flat。曾创办 Netless 互动白板公司，并于 2020 年底带领团队加入声网。
演讲主题：亿级安装量，如何将 SDK 崩溃率降低至十万分之五？
声网一直非常重视可靠性，这里的可靠性不仅包括 SD-RTN 传输网络的高可用，也包括端侧 SDK 的稳定性，SDK 崩溃率是关键衡量指标之一。RTC 相关的技术非常复杂，涉及到多平台的适配，音视频的采集、渲染、前后处理、编解码和网络传输。声网如何在这个复杂的系统上做到十万分之五的崩溃率？本次分享将介绍声网在 Native SDK 上的稳定性最佳工程实践。
演讲大纲：
- 声网 SDK 稳定性前世今生
1.1 稳定性对声网的意义
1.2 我们自己的感受
1.3 用数据说话
- Native 稳定性最佳工程实践
2.1 崩溃/卡死捕获原理
2.2 测试与覆盖率
2.3 Sanitizer 原理与应用
- 稳定性监控平台的搭建过程
3.1 技术选型
3.2 实现难点
3.3 平台成果展示
- Native 稳定性疑难杂症案例分享
演讲嘉宾：周成 声网高级软件开发工程师
2019 年加入声网，参与大前端 Native SDK 稳定性系统搭建，目前专注于软件工程质量方面的研究。
演讲主题：空间音频如何助力在线互动场景的沉浸感体验？
随着虚拟现实（VR）/ 混合现实（MR）技术的发展，基于耳机的空间音频变得越来越重要。空间音频实际上是仿真一个真实声源产生声音，传播以及被人耳接收的过程。如何有效地模拟这一个过程，让 3D 音频沉浸式地再现，是空间音频的主要研究方向。除此之外，如何有效地渲染大量的声源是一个值得讨论的问题。本次分享主要是介绍空间音频渲染的原理，在线上互动场景中实时渲染空间音频的算法，包括基于对象和基于场景的方法，以及行业中的应用案例。
演讲大纲：
- 沉浸式 3D 音频体验不可或缺的元素
1.1 直达声
1.2 声源朝向，距离以及移动声源
1.3 房间混响
- 空间音频实时渲染的策略和部署
2.1 基于对象和场景的不同渲染方法
2.2 端云结合的渲染部署
- 空间音频在游戏、社交等互动场景中的应用
演讲嘉宾：李嵩 声网音频算法工程师
德国汉诺威大学博士，参与过 HRTF 快速测量、虚拟声外化感提升、基于VR的空间音频、耳机主动降噪等项目。2021 年加入声网，主要从事实时空间音频算法研究，包括双耳声实时渲染、增强立体感和沉浸感等。
“本届大会策划的专题除实时互动技术新世代以外，还包括了开源和商业化探索、大前端、低代码、业务背后的架构演进、微服务和 Serverless、云原生技术架构和变革等十数个技术专场，由来自字节、阿里、腾讯、快手等公司具备技术影响力与洞察力的行业专家负责议题把控，目前大会出品人已全部集齐，讲师阵容即将确认完毕。除了为期两天的沉浸式内容体验，稀土开发者大会还为万千开发者朋友们准备了丰厚的奖品，报名参会的开发者将有机会参与抽奖，赢取丰厚大奖，敬请期待。 ”
点击下方阅读阅读原文，即刻免费报名抢占最佳观景位！