AI 产品

LLM工程师手册发布：提供推理服务学习路线图

首次出现 8月15日 08:30·最近更新 8月15日 08:30

这本LLM工程师手册是一个为期10周、每周5天、每天30分钟的学习路线图，共50课，专注于LLM推理服务的部署。手册首先建立思维模型，然后逐步指导服务模型、仪器化、负载测试超过1000并发请求，并进行调优。内容涵盖roofline模型、vLLM内部结构（如PagedAttention和调度器）、使用Prometheus和Grafana监控TTFT、令牌间延迟和队列深度、SGLang和RadixAttention前缀复用（与vLLM对比基准测试）、负载测试、量化（包括FP16、FP8和INT4对质量和速度的影响）、推测解码和KV驱逐、以及在Kubernetes上部署的解耦预填充和解码。最终，读者将获得一个自配置的技术栈和一个值得发布的基准测试结果。

多来源证据

Twitter/X AI List·twitter·8月15日 03:44

LLM工程师手册（每日30分钟，10周50课）：推理服务路线图，一切指向单一服务而非分散

LLM工程师手册（每日30分钟，10周50课）：推理服务路线图，一切指向单一服务而非分散演示。首先获取思维模型，然后服务模型、进行仪器化、负载测试超过1000并发请求，并进行调优。最终，你将拥有一个自配置的技术栈和一个值得发布的基准测试。手册涵盖以下内容： → roofline模型，以及为什么解码等待内存而预填充等待计算 → vLLM内部结构，PagedAttention和调度器，从代码中阅读 → 使用Prometheus和Grafana监控TTFT、令牌间延迟和队列深度 → SGLang和RadixAttention前缀复用，与vLLM进行基准测试对比 → 负载测试超过1000

事件时间线

8月15日 03:44
Twitter/X AI List
LLM工程师手册（每日30分钟，10周50课）：推理服务路线图，一切指向单一服务而非分散