多模态开发工程师
类别:算法 部门:车机云开发 工作地点:北京
岗位职责
1. 多模态算法研发与优化主导或参与座舱多模态交互核心算法的研究、开发与迭代,包括但不限于:
视觉感知:驾驶员/乘客状态监测(DMS/OMS)、手势识别、视线追踪、唇语识别、舱内活体检测。
语音交互:全双工语音对话、声纹识别、情感识别、语音降噪与增强。
多模态融合:基于视觉+语音+触控的意图理解、多模情感计算、多模消歧与协同。
持续跟进学术前沿,将Transformer、大模型等先进技术应用于座舱场景,提升算法精度与效率。
2. 车载场景化落地与工程优化
针对车规级硬件(如高通、瑞萨等座舱芯片)进行算法轻量化、低功耗化与性能优化,确保满足实时性要求(如DMS响应延迟 < 100ms)。
解决车载实际场景中的挑战:复杂光照、遮挡、座舱噪音、低算力约束等。
主导算法从原型到量产的全流程,包括数据采集、模型训练、量化部署、效果评测与持续优化
任职要求
1.3年及以上算法开发经验,1年及以上大模型相关经验;
2.对多模态大模型有深入理解和实战经验优先;
3.熟悉多模态大模型基本原理,至少熟悉一种深度学习编程框架。
2.对多模态大模型有深入理解和实战经验优先;
3.熟悉多模态大模型基本原理,至少熟悉一种深度学习编程框架。