即将推出
开源 AI 模型
Hub
MatrixHub 是一个开源、支持私有化部署的 AI 模型注册中心，专为大规模企业级推理而设计。它可以作为 Hugging Face 的私有化平替，旨在加速 vLLM 和 SGLang 的工作负载。
matrixhub-ai/matrixhub
➜
MatrixHub 之于 Hugging Face，就像 Harbor 之于 Docker Hub。
停止在关键的 AI 任务中依赖公共互联网。掌控您的资产，加速您的流水线。
核心特性
专为大规模集群设计的基础设施
专为管理海量模型权重的 SRE 和算法工程师量身定制。
透明的 HF 代理
Hugging Face 的无缝平替。只需将 HF_ENDPOINT 指向 MatrixHub，即可保持所有训练和推理代码不变。
按需缓存
一次拉取，永久缓存。自动将公共模型本地化，减少冗余流量，加速集群内的分发。
RBAC 与审计日志
细粒度的权限控制、基于项目的隔离，以及每次上传和下载的全面审计跟踪。
存储无关
兼容本地文件系统、NFS 和兼容 S3 的后端（如 MinIO、AWS）。可扩展至无限的模型存储容量。
主要使用场景
企业如何在生产环境中使用 MatrixHub。
零等待分发
通过“一次拉取，全量服务”的缓存消除带宽瓶颈。同时在 100 多个 GPU 节点上实现 10Gbps+ 的下载速度。
离线网络交付
安全地将模型传输至隔离网络，提供完整性保护、恶意软件扫描和全面的审计日志。
私有模型仓库
通过标签锁定和 CI/CD 集成集中管理微调后的权重。保证从开发到生产环境的一致性。
全局多区域同步
自动在数据中心之间进行异步、可断点续传的复制，以实现高可用性和低延迟的本地访问。
无缝集成于
vLLM
SGLang
Kubernetes准备好掌控您的 AI 模型了吗？
使用 Docker Compose 或 Helm 在几分钟内即可部署 MatrixHub。完全开源，对社区免费。
阅读文档
curl -fsSL https://bit.ly/4qqSZIG | docker compose -f - up -d