兼容 Hugging Face

与 Hugging Face 生态系统无缝兼容。

透明代理模式

零代码变更即可切换到私有托管。MatrixHub 提供即插即用的端点替换，您现有的工具无需任何修改。

Terminal

# 1. Point your environment to MatrixHub
export HF_ENDPOINT="http://matrixhub.internal.company.com:3001"

# 2. Run your existing inference engine (e.g. vLLM)
python -m vllm.entrypoints.openai.api_server \
  --model deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct

# MatrixHub automatically proxies the request, caches the model locally,
# and serves it to all subsequent nodes at 10Gbps+ speeds.

🔌

API 兼容性边界

我们精确实现了 vLLM、SGLang 和常用 Hugging Face 客户端所需的 Hugging Face API 子集。没有臃肿的功能堆叠，只有企业推理团队真正需要的基础设施层。

🗂️

原生制品支持

无缝支持 PyTorch bin、Safetensors、GGML/GGUF 和分词器。MatrixHub 原生理解模型目录结构，实现优化的分块与分发。