智能座舱大模型专家(端侧部署与优化)_XC at Bosch Group

Shanghai, Shanghai, China -

Full Time

Start Date

Immediate

Expiry Date

20 Apr, 26

Salary

0.0

Posted On

20 Jan, 26

Experience

5 year(s) or above

Remote Job

Yes

Telecommute

Yes

Sponsor Visa

Skills

Large Language Models, Multi-Modal Models, Machine Learning, Deep Learning, Model Deployment, Model Optimization, Model Quantization, Model Pruning, Knowledge Distillation, Dynamic Shape Inference, Performance Tuning, AI Agent Development, Python, Java, C++, Android

Industry

Software Development

Description

Company Description Do you want beneficial technologies being shaped by your ideas? Whether in the areas of mobility solutions, consumer goods, industrial technology or energy and building technology - with us, you will have the chance to improve quality of life all across the globe. Welcome to Bosch. Job Description 负责智能座舱大模型技术架构和选型：主导座舱场景下，端侧部署和端云协同架构的大模型(多模态模型、大语言模型，语音相关模型、分类模型等等)的调研、选型与综合评估(涵盖性能、精度、资源等)。负责大模型端侧产品化部署与优化：负责将大模型产品化部署至端侧计算平台（如高通骁龙座舱平台、NVIDIA DRIVE Orin等），并通过核心优化技术（如模型量化INT8/INT4/NVFP4、权重稀疏化与剪枝、知识蒸馏、动态形状推理、算子融合、内存复用、投机采样等）实现推理加速与资源高效利用，确保满足严苛的车规级实时性、稳定性与功耗要求。负责座舱垂直场景的模型定制与效果保障：深入结合座舱垂直场景（如：车载语音助手、多模态交互、场景智能（通勤模式、儿童模式等）、车辆功能控制、行程规划等），利用高效的微调技术（如LoRA、QLoRA、Prefix-Tuning等）进行领域适配与持续迭代，并建立系统的效果评测体系（包括自动化评测平台、场景化测试用例及人工评估标准）。负责端侧推理引擎与服务的构建：负责端侧大模型推理框架和服务（如vLLM、TensorRT-LLM、ONNX Runtime、TFLite、自研引擎）的集成、部署、性能深度调优与稳定性保障，构建高可用、低延迟的推理服务能力。参与并支持AI Agent系统设计与开发：参与设计并支持基于大模型的AI Agent应用框架开发，实现复杂的座舱交互功能，包括但不限于：对话管理（基于LangChain等框架）、任务规划与分解、工具调用（车控API、服务API）、记忆管理与个性化学习。负责相关模型的训练、对齐（如RLHF）与调优工作。跨团队协作与量产推动：紧密协同软件开发、测试、系统集成及产品团队，提供核心技术支持，主导技术方案评审与难题攻关，确保AI特性（如多轮对话、意图理解、情感化交互）在智能座舱产品中高质量落地并实现规模量产。 Qualifications 深入理解大语言模型（LLM）及多模态大模型（VLM，Omni等）原理，扎实的机器学习与深度学习基础。熟练掌握主流训练框架、推理框架及量化工具链（GGUF/AWQ/GPTQ）。精通大模型在边缘设备（移动端/嵌入式）的部署与优化全链路，具有丰富的模型轻量化实战经验，熟练掌握模型量化（动态/静态/感知训练量化）、剪枝（结构化/非结构化）、蒸馏、投机采样（Speculative Decoding）等关键技术。精通大模型的微调与适配技术体系（包括但不限于Fine-Tuning、LoRA、Adapter、P-Tuning）熟悉主流评测基准（如MMLU、C-Eval、自主构建的领域数据集）与评测方法。 3年以上机器学习/大模型相关研发经验，具备优秀的系统编程和问题解决能力，熟练掌握Python，并至少熟悉Java或C++中一种。有完整的模型从研发到部署上线经验者优先。英语口语流利，具备良好的团队沟通与合作能力，对前沿技术充满热情。（优先）熟悉Android，具备移动端或嵌入式平台AI开发部署经验。（优先）熟悉高通、英伟达、AMD等平台AI工具链，具备针对特定硬件的性能分析和调优经验。（优先）深入理解AI Agent技术原理（如ReAct、ToT等），熟悉相关框架（LangChain、LlamaIndex、AutoGen），并具有设计、开发复杂Agent应用（如自主任务执行、多智能体协作）的实际项目经验。 Legal Entity: Bosch Automotive Products (Suzhou) Co., Ltd.

Responsibilities

The role involves leading the architecture and selection of large models for intelligent cockpit scenarios, focusing on deployment and optimization on edge computing platforms. Additionally, it includes customizing models for specific cockpit scenarios and ensuring high-quality performance through effective evaluation systems.