I am a Technical Support Engineer based in mainland China, dedicated to helping users and teams efficiently resolve complex technical issues.

本文记录在 RTX 3060 12 GiB 上部署和调优 SGLang 的过程，包括 Python 与 Docker 启动方式，以及通过 HAMi 在 Kubernetes 中共享单张 GPU。本文参数以功能验证和调优起点为主，不代表所有模型和负载下的最佳配置。

环境中的 Bare Metal 节点通过 ifnames=1 开启了网络接口命名预测，但在进行 OS 升级后，接口名称由 ens* 变成了 enp*，导致原有的 bond 配置无法生效，网络中断。

SGLang 和 vLLM 都是高性能 LLM 推理框架；SGLang 最有代表性的设计是利用 RadixAttention，更主动地复用不同请求之间相同前缀的 KV Cache。

ManagedOSImage 资源用于定义需要应用到一组目标集群中各节点的操作系统镜像或镜像版本。

可以使用其来对 Elemental 节点进行 OS 升级，以及升级过程中新配置的下发。