About

I am a Technical Support Engineer based in mainland China, dedicated to helping users and teams efficiently resolve complex technical issues.

Read more

SGLang 基本原理

SGLang 和 vLLM 都是高性能 LLM 推理框架;SGLang 最有代表性的设计是利用 RadixAttention,更主动地复用不同请求之间相同前缀的 KV Cache。

Read more

通过 ManagedOSImage 升级 Rancher Elemental 节点

ManagedOSImage 资源用于定义需要应用到一组目标集群中各节点的操作系统镜像或镜像版本。

可以使用其来对 Elemental 节点进行 OS 升级,以及升级过程中新配置的下发。

Read more