Token 是大语言模型处理文本时使用的基本单位。它不一定等于一个字、一个词或一个字符，而是由模型的分词器决定。

本文记录在 RTX 3060 12 GiB 上部署和调优 vLLM 的过程，包括 Python 与 Docker 启动方式、请求级采样参数、服务级显存与并发配置，以及通过 HAMi 在 Kubernetes 中共享单张 GPU。本文参数以功能验证和调优起点为主，不代表所有模型和负载下的最佳配置。

HAMi 是一个用于管理 Kubernetes 集群中异构 AI 计算设备的开源平台。其前身为 k8s-vGPU-scheduler，可在多个容器和工作负载之间实现设备共享。

Volcano 是基于 Kubernetes 的容器批量计算平台，主要用于高性能计算场景。

本文结合两者的能力进行实践，参考资料：https://project-hami.io/zh/tutorials/labs/volcano-vgpu-gang-queue

NVIDIA 提供了多种驱动安装方式，此处记录 NVIDIA GeForce RTX 3060 驱动的安装方法。

以下安装方式任选其一，不要混合使用。切换安装方式前，需要先卸载通过其他方式安装的 NVIDIA 驱动。

OpenClaw 支持通过 API Key 和 OAuth 两种方式调用大模型，通常推荐使用 OAuth 认证以获得更好的安全性和管理能力。

在无 GUI（无图形界面）的环境中（如服务器或远程主机），可以通过端口映射的方式完成 OAuth 认证流程。

vLLM（Virtual Large Language Model）是一种用于高效、大规模运行大语言模型（LLM）的推理框架。它主要由两部分组成：推理服务器（负责接收和调度请求、管理网络流量）和推理引擎（负责高效执行模型计算）。

vLLM 的核心机制是 PagedAttention 算法，通过更高效地管理和复用 GPU 显存，减少内存碎片和不必要的拷贝，从而显著提升推理效率，加快生成式 AI 应用的响应速度。

vLLM 的总体目标是最大化吞吐量（即每秒可处理的 Token 数），以支持在同一套 GPU 资源上同时为大量用户提供稳定、高性能的推理服务。

Easy Dataset 是一个专为创建大型语言模型（LLM）微调数据集而设计的应用程序。它提供了直观的界面，用于上传特定领域的文件，智能分割内容，生成问题，并为模型微调生成高质量的训练数据。

项目地址：https://github.com/ConardLi/easy-dataset

模型微调（Fine-tuning） 是指在一个已经训练好的大模型基础上，用特定领域或特定任务的数据继续训练，使模型在某类问题上表现得更好。

开源工具 LlamaFactory 可以轻松地对模型进行微调：https://github.com/hiyouga/LlamaFactory

MCP 全称为 Model Context Protocol，中文译为模型上下文协议，是一个开放标准，使开发人员能够在数据源和人工智能驱动的工具之间建立安全的双向连接。

在没有 MCP 之前，AI 要读去分析资料需要先手动将文件进行上传，或者是将内容复制到对话框内，使用过程相对繁杂；如果使用了 MCP，则可以直接让 AI 对本地文件进行分析。

Ollama 是简化本地设备上大型语言模型 (LLM) 安装和管理的平台，而 Open WebUI 是 Ollama LLM 运行程序的可扩展网络用户界面。