When scaling an inference service to multiple workers, every new worker downloads the full model from the model registry. For a 3 GB model this adds 30–40 seconds per worker; for a 70B model it can be 10+ minutes each.

ModelExpress is a model distribution cache layer in NVIDIA Dynamo. It sits between the workers and the model source (MatrixHub or Hugging Face). The first worker triggers a download into the ModelExpress cache. Every subsequent worker gets the model from that cache — no second download.

In this test we deploy two Dynamo vLLM workers for Qwen/Qwen2.5-1.5B-Instruct (~3 GB) and compare the model acquisition time of the first worker (cache miss) versus the second worker (cache hit).

在本地或内网环境启动推理服务时，模型下载经常是最耗时、最不稳定的一步。

SGLang、Transformers、vLLM 等工具通常会通过 Hugging Face Hub 协议获取模型文件；如果每次都直接访问公网 Hugging Face，启动时间就会受到公网带宽、限流和远端可用性的影响。

这篇文章用 Qwen/Qwen3-0.6B 做一个简单测试，对比两种启动方式：

• SGLang 通过 MatrixHub 的 Hugging Face 兼容接口拉取模型。
• SGLang 直接从 Hugging Face 拉取模型。

我们做了两组实验，验证内网 MatrixHub 对 Dynamo 推理服务首次拉取模型权重的加速效果。

• 实验一：在带 GPU 的 Kubernetes 集群上部署 Dynamo，并使用内网 MatrixHub 拉取模型权重。部署后会得到一个兼容 OpenAI 接口的推理服务，可以对 qwen3-0.6b 模型发对话请求。
• 实验二：用同样的方式再实验一次，改成从外网 Hugging Face 拉取模型权重，对两次实验的首次下载模型时间作对比。

最近 DeepSeek 发布了 DeepSeek v4，不少团队都在第一时间尝试接入。

但如果你是在企业环境，尤其是内网或私有化部署里，很快就会发现一件事：

模型不是最大的问题，分发才是。

我们在内网落地 DeepSeek v4，踩了一堆坑，整理下来，本质其实就三类问题。

这里放一个 MatrixHub 的真实使用示例。