I am a Cloud Natice Support Engineer based in Mainland China, dedicated to helping users and teams efficiently resolve complex technical issues.

KServe 是一个开源的云原生模型服务平台，能够快速在 Kubernetes 上部署和运行机器学习模型，支持多种机器学习框架、具备弹性扩容能力。

本文记录在 RTX 3060 12 GiB 上部署和调优 SGLang 的过程，包括 Python 与 Docker 启动方式，以及通过 HAMi 在 Kubernetes 中共享单张 GPU。本文参数以功能验证和调优起点为主，不代表所有模型和负载下的最佳配置。

环境中的 Bare Metal 节点通过 ifnames=1 开启了网络接口命名预测，但在进行 OS 升级后，接口名称由 ens* 变成了 enp*，导致原有的 bond 配置无法生效，网络中断。

SGLang 和 vLLM 都是高性能 LLM 推理框架；SGLang 最有代表性的设计是利用 RadixAttention，更主动地复用不同请求之间相同前缀的 KV Cache。