I am a Technical Support Engineer based in mainland China, dedicated to helping users and teams efficiently resolve complex technical issues.

Token 是大语言模型处理文本时使用的基本单位。它不一定等于一个字、一个词或一个字符，而是由模型的分词器决定。

此处使用 NVIDIA GeForce RTX 3060 12 GiB 进行实践。

HAMi 是一个用于管理 Kubernetes 集群中异构 AI 计算设备的开源平台。其前身为 k8s-vGPU-scheduler，可在多个容器和工作负载之间实现设备共享。

Volcano 是基于 Kubernetes 的容器批量计算平台，主要用于高性能计算场景。

本文结合两者的能力进行实践，参考资料：https://project-hami.io/zh/tutorials/labs/volcano-vgpu-gang-queue

GPU 节点安装 NVIDIA 驱动

参考文档：https://warnerchen.github.io/2026/07/10/NVIDIA-GeForce-RTX-3060-%E5%86%85%E6%A0%B8%E9%A9%B1%E5%8A%A8%E5%AE%89%E8%A3%85/