招聘信息

• 大模型推理加速工程师

  面议 浙江省杭州市西湖区 全职 硕士及以上 2人 2025-05-31

  收藏 投递简历

  2025-04-01 11:14:23

  职位描述

  工作方向：低延迟推理/长上下文处理/MoE优化

  核心职责（任意一项即可）：

  1. 生产级系统优化：

  • 优化部署代码，提升业务服务吞吐量，降低服务时延
  • 设计智能批处理系统
  • 开发分布式推理资源调度器，提升集群利用率
  • 构建全链路监控体系，实时追踪GPU SM利用率/显存碎片率等核心指标

  2. FP8量化，INT8量化等前沿技术跟进和量化技术研究
  3. 长上下文推理优化

  • 研发KVCache管理方案，支持128K+长文本输入
  • 优化长文本Attention机制，降低长文本P99延迟
  • 设计显存-内存-磁盘三级缓存系统，突破单卡上下文长度限制

  岗位要求

  1. 计算机/电子工程相关专业硕士及以上学历
  2. 1年以上LLM推理优化经验（需提供延迟/吞吐量提升的量化数据）
  3. 熟悉/精通以下至少一项：
     1. PD分离优化：有计算-通信流水线设计经验，熟悉NVLINK/NVSwitch拓扑优化
     2. 量化部署：
        • FP8量化：掌握H100 Transformer Engine调校，熟悉精度损失分析工具链
        • INT8部署：有10亿+参数模型无损量化落地经验
     3. 长文本处理：
        • 精通RingAttention/FlashAttention-2等长上下文优化技术
        • 有KVCache压缩算法研发经验（如稀疏化/动态丢弃）
  4. 加分项：
     1. 在MLSys/ASPLOS等顶会发表过推理优化相关论文
     2. 主导过在线推理系统架构设计
     3. 熟悉LLM服务框架（TGI/DeepSpeed-MII）源码并有重大贡献
     4. 持有推理加速相关专利或开源项目（GitHub 500+ Stars）

  可实习，实习生要求：

  • 每周至少4天到岗，持续3个月以上
  • 熟悉Python/C++，能快速上手分布式训练代码
  • 在Kaggle/天池等竞赛获TOP10成绩者优先

  
  

  职位类别:计算机软、硬件/互联网/IT

  专业要求:理学,工学

单位简介