立即咨询

电话咨询

微信咨询

立即试用
商务合作

ArcSoft 虹软智能座舱视觉解决方案

装在方向盘后或 A 柱的近红外相机,算的是驾驶员状态,输出告警信号给座舱,不参与车外感知与行车决策。
立即咨询
 
ArcSoft虹软 · 智能座舱视觉解决方案

智能座舱视觉解决方案

虹软智能座舱视觉解决方案是跑在座舱域控里的驾驶员监控软件,用近红外摄像头看驾驶员的脸与手,识别疲劳、分神、打电话与抽烟并分级告警,交付座舱一级供应商与车厂,解决强光与墨镜下误报、闭眼判定过严导致频繁报警。

驾驶员监控疲劳识别分神判定红外补光分级告警座舱集成
车内
驾驶员状态
近红外
暗光可用
分级
提示与强提醒
事件
片段本地留存

⚠️行业痛点与挑战

🔍墨镜一戴就失效
驾驶员戴墨镜或口罩,眼睛与嘴被遮住,闭眼与哈欠判不出来,功能等于失效,只能靠头部姿态硬撑,误报还更多。
⏱️侧光过曝
侧窗阳光直射时人脸过曝,红外补光又不够,画面一片白,检测框乱跳,误报跟着上来,司机很快就烦。司机很快就烦,索性把功能关掉。
🧠眼镜反光成亮点
夜间只有仪表微光,红外补光把人脸照得发白,眼镜反光形成亮点,跟踪一断就重连,告警忽有忽无。告警忽有忽无,司机根本不信这个提示。
🔗阈值两头难
闭眼阈值调严,正常眨眼被当成疲劳;调松,真困了也不报,最后驾驶员嫌吵直接关掉,功能白装。功能白装,还占了一份算力。
📉遮挡与角度
方向盘挡住下半张脸,或摄像头装在 A 柱角度偏,关键点漂移,头部姿态估不准,低头看手机被判成分神。头部姿态估不准,误报和漏报一起上来。

🎯产品定位与核心价值

装在方向盘后或 A 柱的近红外相机,算的是驾驶员状态,输出告警信号给座舱,不参与车外感知与行车决策。

💡交付可验收
疲劳分神识别与告警分级工具的验收标准在项目启动时确认,驾驶员监控系统能力的达成度可对照检查。
🔁业务价值导向
驾驶员监控系统相关能力的价值以业务指标度量,从部署之初即明确效果口径。
🧷工程化落地
疲劳分神识别与告警分级工具的实施方法与交付节奏成熟,上线到见效的路径可复制。

⚙️核心能力详解

🧮关键点与姿态
近红外下提取人脸关键点,墨镜与口罩场景退回头部姿态与眼部区域估计,不硬套全脸模型,少一点精度换个可用。
🧱疲劳判定
按闭眼时长与眨眼频率综合打分,配合哈欠与点头动作,分级告警,不靠单一阈值决定,误报能压下来。
⚡分神识别
按头部偏航与视线方向判断,低头看手机与扭头聊天分开处理,持续时长决定告警级别,短暂观察不打扰。
📊行为识别
打电话、抽烟与喝水分别建模,手部区域单独检测,减少相似动作误判,比如挠头不算打电话。相似动作容易混,手部区域要单独框。
🌐红外补光控制
按环境光调节补光强度,强光下压曝光,暗光下补光,避免过曝与反光点,眼镜用户也能稳定跟踪。眼镜用户也能稳定跟踪,不靠运气。
🔧事件留存
告警片段按时间与类型存本地,可按事件导出,字段含时间、类型与置信度,事故追溯拿得出。事故追溯拿得出,不用翻整段录像。

📐技术规格

产品名称 智能座舱视觉解决方案
所属厂商 ArcSoft虹软
产品分类 汽车行业·驾驶员监控系统
核心能力 关键点与姿态、疲劳判定、分神识别
应用场景 网约车全天班、长途干线货运、公交频繁启停
服务边界 疲劳驾驶预警软件相关的第三方配合事项在实施清单中单独列明
替换考虑 既有疲劳分神识别与告警分级工具系统的切换路径可与汽车行业行业惯例对齐
能力延续 驾驶员监控系统的版本迭代不要求疲劳分神识别与告警分级工具场景重新配置
产品定位 智能座舱视觉解决方案·汽车行业领域的产品形态与应用边界

🏭典型应用场景

✈️网约车全天班
网约车平台在车内后视镜位置装摄像头,跑全天班,团队按白天逆光与夜间两班测试,重点看接单时低头看手机是否被判分神。误报多了司机就关,平台也拿不到数据。误报多了司机就关,平台也拿不到数据。
🚗长途干线货运
长途司机连续驾驶四小时,疲劳是主要风险,团队按闭眼时长与点头频率统计,把告警分成提示与强提醒两级。强提醒太频繁会被关掉,阈值要按线路调。强提醒太频繁会被关掉,阈值要按线路调。
🔋公交频繁启停
公交上下客频繁,驾驶员视线不断切换,团队重点测扭头看后门是否被判分神,按持续时间区分正常观察与走神。区分不开就会一路报警,司机只能关掉。区分不开就会一路报警,司机只能关掉。
🌊驾校教练车
教练车要记录学员操作,团队把分神与疲劳分开统计,学员看后视镜不算分神,低头看挡位才算。判错会误伤学员,教练也不认这个数据。判错会误伤学员,教练也不认这个数据。
🏗️出租车夜班
出租车夜间运营多,团队按夜间时段单独统计,重点看路灯扫过时的过曝与眼镜反光,误报率按小时算。夜间数据不好看,白天指标再漂亮也没用。夜间数据不好看,白天指标再漂亮也没用。
🚢座舱产线标定
座舱产线在整机下线前做一次摄像头标定,按工位对坐姿参照物,数据写进域控。抽检偏差超标的返工,避免出厂就带着角度误差。出厂带着角度误差,后面怎么调都不准。

🏆典型应用案例

📦
墨镜场景失效
某项目戴墨镜时疲劳完全失效,原因是关键点全丢。改成眼部区域估计加头部姿态,闭眼判定改为概率输出,墨镜场景能报但灵敏度下降,团队接受这个取舍。墨镜场景的验收指标要单独列出,别混在总表里。
🛫
侧光过曝
下午侧窗阳光直射,人脸一片白,告警乱跳。加宽动态曝光与补光联动,过曝区域压下来,代价是暗部噪点上升,靠降噪补回来,整体可用。暗部噪点靠降噪补,画面略软但能看。改完再测一轮正午与黄昏,两个时段都要过。
🏭
误报被关掉
上线两周司机把功能关了,查日志是低头看手机被判分神太频繁。把持续时间阈值从一秒提到两秒,误报降下来,真分神的漏报略增,权衡后接受。阈值改完要跑一周真实班次,实验室数据不作数。
📦
数据调不出来
出事故要调告警片段,发现只存了事件不存图像。改成事件前后各存十秒,本地循环覆盖,导出按事件号检索,追溯才有依据。存储按事件循环覆盖,容量按最长无人取卡周期算。

🔌接入方式

🖥️与座舱域控
算法跑在域控的独立分区,不能与娱乐系统抢资源,算力与内存要提前划。导航一卡就掉帧,掉帧后告警会断,体验直接崩。导航一卡就掉帧,掉帧后告警会断,体验直接崩。
☁️与仪表与语音
告警通过总线发给仪表与语音,提示音不能盖过导航,优先级要排,重复告警要合并。三条一起弹,司机只会觉得吵。三条一起弹,司机只会觉得吵。三条一起弹,司机只会觉得吵,最后关掉。
🤝与车队平台
告警事件按协议上传,字段与频率要约定,弱网时先本地缓存,恢复后补传。丢事件比晚到更麻烦,追溯时说不清。丢事件比晚到更麻烦,追溯时说不清。

🧩生态协同与能力底座

🧩座舱一级供应商
供应商负责集成与整车适配,算法方提供感知能力,接口与算力预算在项目初期就要定。定晚了只能砍功能。接口与算力预算在项目初期就要定,定晚了只能砍功能。
🔗车队运营方
车队关心误报与数据可用性,算法方给分级与统计口径,双方按线路跑一周再定阈值,别在办公室拍板。双方按线路跑一周再定阈值,别在办公室拍板。
🌱红外模组厂
模组的补光功率与滤光片决定暗光表现,选型阶段就要介入。后期换模组要重标,不重标数据全废。后期换模组要重标,不重标数据全废。

🚀产品差异化特点

🌟墨镜不硬套全脸
眼部不可见时退回姿态与区域估计,功能还能用;只跑全脸模型的方案,墨镜一戴就失效。只跑全脸模型的方案,墨镜一戴就失效,等于没装。
🆚告警分级而非一刀切
按持续时长与动作类型分级,强提醒不轻易触发;单一阈值的方案,不是太吵就是太钝。单一阈值的方案,不是太吵就是太钝,两头不讨好。
🧬补光与曝光联动
强光压曝光、暗光补光,眼镜反光点能压住;两者各调各的,夜间跟踪一定断。两者各调各的,夜间跟踪一定断,反光点也压不住。两者各调各的,夜间跟踪一定断,反光点压不住。

✅最佳实践

📝
分班次测
白天、夜间与黄昏各跑一班,三个时段的数据分开统计,混在一起看不出问题出在哪一段。混在一起看不出问题出在哪一段,也没法按段优化。
🔄
遮挡场景单测
墨镜、口罩、帽子各测一轮,遮挡是这类功能的主要失效点,不单独测一定漏。遮挡是这类功能的主要失效点,不单独测一定漏。不单独测一定漏,遮挡是主要失效点。
🎯
阈值按线路调
长途与城市路况的疲劳特征不同,阈值按线路给,别指望一套参数跑全国。别指望一套参数跑全国,线路差异比想象中大。线路差异比想象中大,一套参数跑全国必翻车。
📈
告警日志留全
时间、类型、置信度与处理结果都留,事后复盘要用,也能用来证明功能确实在工作。也能用来证明功能确实在工作,减少扯皮。也能证明功能确实在工作,减少扯皮。

🗺️企业落地路径

1️⃣
功能与法规对齐
确认车型要做的功能项与数据留存要求,定摄像头位置与算力预算,产出规格书。法规与客户要求对不上时,先按严的那条做。
2️⃣
算法适配
把检测跑到目标域控,确认帧率与延迟,再按车型视角调参,每步留场景数据。每步留场景数据,出问题能回放到具体版本。每步留场景数据,出问题能回放到具体版本。
3️⃣
实车调优
按白天、夜间与遮挡场景分别调阈值,误报与漏报一起看,别只盯一头。误报与漏报一起看,别只盯一头,否则一定反弹。误报与漏报一起看,只盯一头一定反弹。
4️⃣
量产标定
铺产线标定工位,做批量一致性验证,交接参数与测试报告,转入版本维护。交接要带测试报告与失败案例,比文档有用。交接带测试报告与失败案例,比文档有用。

💬常见问题 FAQ

一定要红外吗?
需要,可见光在夜间不够,红外补光才能稳定成像,成本会增加,但暗光表现差别很大。滤光片要配套换,否则白天会偏色。滤光片要配套换,否则白天会偏色。
戴墨镜能用吗?
能,但精度下降,眼部不可见时靠头部姿态与面部朝向估计,误报会比裸眼高。验收要单独设一档,不能按裸眼指标卡。验收要单独设一档,不能按裸眼指标卡。
能识别哪些行为?
疲劳、分神、打电话、抽烟是基础项,喝水与吃东西可选,行为越多算力越吃紧。基础项先做稳,再谈加项。基础项先做稳,再谈加项。行为越多算力越吃紧,基础项先做稳。
告警怎么分级?
按持续时间与严重程度分提示、警告与强提醒,强提醒不能太频繁,否则一定被关。分级阈值要按车型与线路分别给。分级阈值要按车型与线路分别给。
数据存在哪?
多数存本地,按事件循环覆盖,是否上云由车队与合规要求决定,涉及个人信息要提前告知。告知不到位就是合规风险。告知不到位就是合规风险。
算力要求高吗?
座舱域控算力有限,检测分辨率通常不高,关键在红外成像质量而不是分辨率。成像不行,算力再高也救不回来。成像不行,算力再高也救不回来。
能后装吗?
能,后装位置受限,角度偏会让姿态估不准,安装时要按车型做一次标定。标定不做,前两周的数据基本不能用。标定不做,前两周的数据基本不能用。
验收看什么?
看疲劳检出率、误报次数与遮挡场景可用性三项,按小时统计,只报准确率没有意义。三项一起过才算过关。三项一起过才算过关。三项一起过才算过关,单项好不算。

📄信息来源与免责声明

此页信息由云巴巴基于ArcSoft虹软的公开材料整理呈现,围绕疲劳分神识别与告警分级工具需求说明产品适用性。

文中驾驶员监控系统相关描述来自公开资料,不含非公开的路线图或未发布能力。

需要智能座舱视觉解决方案的详细能力清单或试用安排,云巴巴可协助对接ArcSoft虹软的官方渠道。

产品推荐

阿里云Web应用防火墙
对网站或者APP的业务流量进行恶意特征识别及防护,将正常、安全的流量回源到服务器。避免网站服务器被恶意入侵,保障业务的核心数据安全,解决因恶意攻击导致的服务器性能异常问题。
免费试用
查看详情
阿里Accio Work全球电商AI工作台
Accio Work 是全球 1000 万+中小企业在用的电商 AI 工作台:既有通用 Agent 全部能力,又专为电商经营调优。打通全球电商平台,从选品到运营、从客服到营销,一支随叫随到、替你打理生意的 AI 团队。跨境卖家、淘系店主、独立站主理人、多平台大卖,都能即刻开工。
免费试用
查看详情
Pyxis Social全球社交媒体管理系统
Pyxis Social全球社交媒体管理系统,整合社媒运营矩阵管理系统、社交媒体数据监测分析平台及海外品牌营销管理工具。可统一管控多平台社媒账号、实时监测运营数据、精准推进海外营销,适配跨境品牌需求,提升社媒运营效率与营销转化,助力品牌深耕全球社交市场。
免费试用
查看详情
盛邦安全RaySIN互联网敏感信息监测系统
盛邦安全RaySIN互联网敏感信息监测系统,作为网络暴露面收敛与敏感信息泄露监测平台,可实时扫描互联网敏感信息,精准识别泄露风险,助力企业收敛暴露面。全面监测数据泄露隐患,及时预警并处置,保障信息安全,适配多场景敏感信息防护需求。
免费试用
查看详情