大模型推理优化工程师

40-65K

星野智能 · 40-65K · 北京 · 5-10年 · 硕士

岗位描述

企业知识库 Agent已经跑通 POC，现在缺一个能把效果、成本和稳定性同时管住的人。

岗位职责
1. 负责大模型应用链路的架构与实现：检索、工具调用、多轮状态管理。
2. 把业务需求拆成可评测的任务集，建立离线与线上效果指标。
3. 控制推理成本与响应延迟，和平台同学一起做缓存、批处理与降级。
4. 跟进客户侧的 POC 与上线，处理幻觉、越权与数据隔离问题。

任职要求
1. 熟悉 Python，至少一个完整的大模型应用上线经验。
2. 理解 RAG、Agent、Function Call 的适用边界，能判断什么时候不该用大模型。
3. 有工程能力：会写测试、会看日志、能定位线上问题。
4. 沟通清楚，能把技术限制讲给非技术同事听。
5. 具备 5-10年相关经验；工作地点北京，需要到岗协作。

技术栈
vLLM / TensorRT-LLM / 量化蒸馏

我们提供
· 六险一金、弹性上下班、年度体检、GPU 随便用、技术分享会
· 团队规模 100-499人，直属汇报给业务负责人

面试流程
简历初筛 → 电话沟通 → 专业面 2 轮 → offer 沟通

查看全部在招职位