没有首页 😈

vLLM（Virtual Large Language Model）是一种用于高效、大规模运行大语言模型（LLM）的推理框架。它主要由两部分组成：推理服务器（负责接收和调度请求、管理网络流量）和推理引擎（负责高效执行模型计算）。

vLLM 的核心机制是 PagedAttention 算法，通过更高效地管理和复用 GPU 显存，减少内存碎片和不必要的拷贝，从而显著提升推理效率，加快生成式 AI 应用的响应速度。

vLLM 的总体目标是最大化吞吐量（即每秒可处理的 Token 数），以支持在同一套 GPU 资源上同时为大量用户提供稳定、高性能的推理服务。

本文记录一次在使用 helm upgrade 更新 Workload 时，命令返回成功，但实际 hostAliases 配置未按预期生效 的问题排查与解决过程。

在 CI/CD 流水线中，通常会通过 Jenkins 插件等方式触发 NeuVector 的镜像扫描。扫描完成后，可以在 NeuVector UI 页面中确认扫描结果已成功写入系统。

由于镜像扫描本身会消耗一定的时间和资源（尤其是镜像体积较大时，扫描耗时会明显增加），因此在流水线中往往希望在镜像已经完成扫描的情况下避免重复触发扫描任务，以提升整体执行效率。

NeuVector 提供 Zero-drift 和 Basic 两种运行模式，其中 Zero-drift 模式为默认模式。本文基于 NeuVector v5.4.8 版本，通过实际测试对比两种模式在不同 Group 状态（Discover / Monitor / Protect）下的行为差异。