立即咨询

电话咨询

微信咨询

立即试用
商务合作

网易云信RTC&IM融合AI解决方案

网易云信RTC&IM融合AI解决方案，整合AI陪伴SDK、AI数字人客服及企业协同办公AI助手。依托RTC高清实时音视频与IM即时消息能力，可快速搭建AI陪伴场景、部署智能客服响应、赋能企业高效协同，助力多行业提升交互体验与运营效率。
立即咨询
数字化产品AI数字人网易云信RTC&IM融合AI解决方案

 

icon生产力提升的诉求对现网系统提出新的挑战icon

现网已部署安全可控、数据自主的IM+RTC私有化平台，基于其开放灵活的接口设计，提供稳定可靠的即时通讯、群组、音视频通话、会议等能力全面覆盖了业务所需的通信需求。 而随着业务的发展，用户对生产力提升提出更高的诉求，也对通信平台提出了新的挑战

服务投诉率高
人工客服情绪波动大，专业水平因人而异，易被投诉
协作效率瓶颈
跨语言沟通障碍、沟通效率不高、服务响应慢
信息过载
海量消息、沟通内容难以快速提炼重点，决策效率低，人工进行信息整理耗时耗力
用户对智能化预期高
在AI成为企业重点发展规划的大背景下，如何将AI与产品基于业务的有机结合，成为绕不开的话题

 

 

icon环境变化趋势：逐渐成熟的AI应用市场已让消费者养成习惯icon

随处可见的对话式AI应用，让消费者养成了与智能体交互的习惯

 

 

iconRTC AI-pipeline框架图icon
 
客户端全终端RTC SDK （iOS/AOS/Mac/Windows/Linux/小程序/Web/H5/RTOS等），实现跨端无缝对接
云端AI 音视频引擎，将云信多年的端侧音频处理能力应用在云端，提供优质的交互自然性和多模态体验
智能体平台支持个性化角色设定（ Prompt、记忆、Tools、知识库 …），提供个性化互动体验
全链路各AI 模块均支持动态插拔，适配用户自有AI 模块，降低接入门槛

 

icon云端AI降噪icon
云端AI背景降噪
在 AI 对话场景下，背景人声、环境杂音、键盘敲击声、脚步声等各类噪音，会直接干扰 AI 语音识别的准确性。 开启 AI 降噪后，语音识别准确率从35%大幅提升至95%，实现60%的提升，极大优化了AI 交互体验，有效解决了复杂环境下的语音识别难题，为人机交互提供了更精准、更可靠的技术保障
技术要点
训练数据：使用大量带噪音（含背景人声）的音频和对应的干净音频作为训练集，模型（参考TCN，CRN，DPRNN）学习噪音特征并进行分离
 
特征识别：模型分析音频的时域（波形）和频域（频谱）特征，区分人声等目标声音与背景人声、键盘声、脚步声、风扇声、风声、电流声等噪音
 
实时处理：针对模型优化计算效率，使用云信自研的高性能推理引擎，达到实时处理要求
iconAI声纹锁定icon
云端AI声纹锁定
通过声纹认证实现特定用户专属唤醒，在对话过程中也可以屏蔽其他人声的干扰，确保 AI 交互私密性，打造个性化与私密性的情感陪伴体验。 声纹识别技术实现分级应答功能，精准分辨不同使用者的声音，并根据后台设置的权限生成适龄化内容表达。根据使用者的年龄段，自动生成符合其认知水平的内容与表达，保障家庭场景的使用体验
技术要点
用户注册与声纹建模的质量：融合TDNN、ResNet、Transformer架构
实时语音识别与声纹识别准确度：（余弦相似度计算、概率模型）
高性能计算架构和模型压缩，提升决策与响应的实时性
 
应用场景
特定用户唤醒——私密性
识别说话人，场景化交互——家庭机器人
会议室多人单设备开会，摘要生成场景
icon智能打断icon
云端AEC+AI 语意VAD
在 AI 语音交互场景中，用户停顿思考期间被 AI 频繁打断的问题严重影响交互体验。 在继承 VAD 实时性优势的基础上，通过 AI 预测动态优化交互节奏。使 AI 意外中断率减少了85%，在保障响应即时性的同时，让AI对话交互更加流畅，更符合人类自然交流习惯，精准把握打断时机，实现更具共情力的智能交互体验
 
传统VAD的问题
VAD 依赖音量检测与静默时间阈值的判断，静默时间阈值（小于600ms、大于2秒）都会导致不良体验
人类讲话天然是有停顿（思考），就会被AI打断
技术要点
轮次结束检测，模型基于 HuggingFace 的 SmolLM v2 的 135M 参数的小模型
用户说话时，语音识别的每个单词都被添加到模型的上下文窗口中。对于从 ASR 接收到的每个最终转录，模型都会根据当前上下文的末尾是否代表当前说话者的回合结束进行预测，并给出一个置信度
使用模型预测动态缩短或延长 VAD 静音超时时间。如果EOU 建议用户还没有说完，则等待更长时间的静音
云信自研了智能打断方案，与单独使用VAD相比，意外中断减少了85% 

 

icon多模态互动icon
音频多模态
延迟进一步降低，低于600ms
情感理解
情绪表达
视频多模态
摄像头画面的理解——丰富的交互体验
桌面共享的理解——结合多Agent，实现自动控制

 

 

icon完善的智能体搭建平台icon

云信智能体配置平台


角色模块
Prompt、LLM配置、视觉能力
PipeLine管理
打断模式、开场白、会话暂停与恢复、云端音视频引擎配置
记忆模块
支持长期块状记忆、结构化记忆
设备管理
硬件设备管理、角色绑定、消息历史
声纹模块
声纹录入、声纹管理
Tools管理
支持Tools 工具链配置

 

 

icon数字人icon

 

 

iconIM-融合AIicon

是网易云信基于26年即时云通讯服务建设经验，结合对千行百业的落地场景实施理解、对垂直行业大数据特征的认识，整合集团内部人才资源，面向企业开发者提出的低门槛低成本，安全可靠的“通讯场景+AI”的解决方案

 

 

 

icon核心功能icon

基于IM即时通讯底层能力，融合AI大模型，提供的高体验、懂业务、数据流程融合的AI解决方案

AI单聊及聊天室
AI单聊：在单聊会话中，AI与用户进行实时文本交流
AI聊天室：让多个AI在开放式广场自由对话，丰富的人物设定，让沟通更有趣味
AI永久记忆
上下文关联：AI回复意图识别更精准，回复不出戏
消息长记忆：聊天记录长期存储，内容输出参考历史记录，让沟通更有感情
模型微调
数据分析：基于用户实时数据动态优化话术库
客制化模型调节：利用行业数据和业务流程数据微调，让沟通更贴合业务
语音合成
自动音频合成：支持AI返回文字消息时同时进行语音播报
音色情绪可选：语音音色支持按需调节，实时模拟拟人情绪，让沟通更有温度

 

iconIM数字人场景化对接icon

场景化对接接口，业务无需通过复杂的抄送逻辑进行内容打标，让IM与大模型对接更简洁，更高效


 
批量查询 AI 数字人列表
 
直接向 LLM（Large Language Models）发起模型调用请求
 
对LLM可以采用融合对话模式发起， 也可以采用纯工具方式发起
 
可选择直接停止输出，也可以选择撤回/更新 AI 数字人消息
 
AI流式输出请求及回调

 

 

icon流式消息输出icon

网易云信自主研发的全新流式 IM 协议，允许 AI 生成内容以最小单元实时推送至客户端，无需等待完整拼接。同时，该协议通过减少服务器缓冲时间与传输延迟，可以实现复杂语义场景下响应时间被控制在 3 秒内，解决80%的客户等待退出的问题

 

 

icon流式消息输出效果icon

 

 

icon训练贴合业务的定制大模型icon

 

 

icon交付流程客制化icon

客制化实施流程，把控最终Al效果体验

 

 

icon支持完整的场景化UIKit接入icon

 

 

 

icon管理后台icon

 

 

icon智能客服icon
服务高度标准化，体验始终如一
信息准确无误： AI客服确保每次解答都精准、一致，彻底消除人工客服因记忆偏差、培训差异或情绪波动导致的信息错误或遗漏风险
结合企业品牌设定：提供具有形象，可以语音对话的AI客服，带来沉浸感体验拟人客服体验
复杂问题真人接管：AI客服与真人客服并行，为客户提供即标准又灵活的服务，对客户展示相同的虚拟形象

 

icon智能信息总结icon
维度可控
按照要求的时间＆群进行内容总结
信息详实
按照话题、进展、阻塞点、下一步计划的维度进行总结罗列。只需一眼即可对群沟通信息了然于胸，再也不用反复爬楼，大大提高阅读效率
高亮关键人
将查看内容后将群已读
关联操作
查看内容后，将群设为已读，或将关联群一起纳入分析

 

 

icon文本润色icon

文本润色
对文本框中已存在的内容，在发送前，可以要求AI助理根据文风进行润色＆重写
多样文风
默认预设三套措辞风格 也可以要求助理根据自己的要求自定文风
多次修改
返回的修改内容不满意可全文重写、按需修改

 

 

icon智能AI会议助手icon
AI会议助手
能够在会议过程中对会议内容进行实时提问，对通用型问题进行提问，或者总结会议内容。同时，还可以设置智能提醒，在“提到关键字”、“重要人讲话”、“我被提到”三种场景下，出现提醒
 
支持对当前会议内容实时提问
支持总结会议内容，形成摘要
支持设置智能提醒
功能插件化设计，可以快速移植到其他场景使用

 

 

icon实时字幕与翻译icon
实时字幕与翻译
提供实时字幕与翻译功能，能够在会议过程中将与会者的语音实时转换成文字字幕，并支持多种语言的翻译，极大地提升了会议的可访问性和国际化水平
 
支持中英语言自动识别
支持中、英、日三种语言翻译
支持具备强大的多语种扩展能力，可以根据需求支持更多语言的实时翻译

 

 

icon实时智检icon

屏幕共享聊天软件检测

 

 

icon录制文件AI质检方案架构icon
实时一 阶段录制质检
适用于RTC录制检测；通话过程中实时检测
检测内容：实时音视频流指标，包括音视频帧率、丢包、卡顿、时间戳同步等
实时二 阶段文件质检
适用于RTC录制检测；录制文件生成后，快速校验文件参数
检测内容：文件属性指标，包括文件可播放性、大小、时长、音视频长度对齐等
离线文件质检
独立检测类别。可作为RTC录制的内容检测补充，也可独立检测其他离线文件
检测内容：在文件属性指标基础上，检测内容属性指标，包括音视频缺失、音频音量静音/爆音、人声比例、视频卡顿/静帧、视频纯色屏、视频马赛克等，支持各种cv能力扩展

 

icon金融视频银行数字人客服icon

需求背景：视频客服是通过智能排队系统临时分配的，有些客户多次办理业务，看到下次业务办理换了人，服务存在明显差异时，或者不满视频客服人员形象时，会进行投诉，所以行方希望通过数字人统一对外服务形象和声音

技术方案：通过云信私有化RTC AI pipeline的可插拔能力，跨协议打通行内数字人平台，实现金融数字人客服场景落地


 
对外统一B端入口服务，用户可预设AI任务
 
 
易用性高，仅需调用一次B端接口即可数字人业务
 
 
定制化协议适配，实现协议丝滑转换和对接

 

 

icon企业协同办公AI助手icon

需求背景：客户现网数十万用户使用云信IM做日常协同办公，包括统一门户、超大群聊、安全加密等，随着AIGC发展，企业提出通过AI助手来提升办公效率的诉求，而传统IM方案不支持流式输出，用户与大模型交流等待时间过长，严重影响使用体验

技术方案：通过云信私有化IM 流式消息及场景化对接方案，快速打通与大模型交互，对话首次响应缩短至秒级


 
 
服务端全新流式消息API，不同场景灵活选择，最小改动实现流式输入
 
 
 
IM消息流式输出，与AI互动少等待

 

 

产品推荐

MOS短信云平台
专业、高效、安全，值得信赖的云通信管家-以cPaaS为基础，涵盖短信、语音、物联网等通信资源及UMP、AMS、AI机器人等通信软件平台，围绕企业通信场景需求提供一站式云通信解决方案的企业通信云计算服务，广泛应用于金融、政企、互联网、快消等行业
免费试用
查看详情
新视窗智慧物业管理系统
杭州新视窗专注于物业数字化，通过为物业企业提供智慧物业解决方案，助力物业企业数字化转型。覆盖16大物业业务场景，提供行业最全面的物业业务解决方案，有助于实现业务的一体化管理与高效协同，满足美置服务多样化的业务需求。
免费试用
查看详情
道一云零售行业KPI绩效考核解决方案
道一云零售行业KPI绩效考核解决方案,以业务搭建为核心的APaaS低代码开发平台，可通过表单、工作流、自定义页面、用户角色权限、报表等组件建模引擎实现积木式应用搭建。自定义绩效考核模式和指标，高效执行，一键掌控绩效评估，及时识别目标风险。
免费试用
查看详情
京东科技智能客服质检平台
京东科技智能客服质检平台支持全渠道 100% 全量质检覆盖，集成语音质检分析系统与在线客服质检软件能力，可对舆情、异常服务、服务风险进行同步实时预警与异步监测。平台以数据驱动为核心，提供可量化、可视化的服务质检分析，实现服务合规管控、问题自动识别与运营决策支撑，全面提升客服服务质量与管理效率。
免费试用
查看详情