探索 大语言模型 项目
筛选并发现收录的、配有高质量中文文档或教程的 GitHub 项目。
开源 GPU 集群管理器,配置并编排 vLLM、SGLang 等推理引擎,支持多集群管理、即日模型部署与性能优化,适用于高性能 AI 模型部署。
Copilot 是 opencx-labs/copilot 项目,主要使用 TypeScript 开发。项目已不再维护。
开源 AI 研究环境,支持本地、本地部署或云端训练、评估和扩展模型。统一工具链,提供跨平台支持,包含基础模型、微调、扩散模型和评估功能。
提供从基础到部署高级 LLM 和 RAG 应用的实践指南,使用 LLMOps 最佳实践,支持 AWS 部署。涵盖数据收集、训练管道、监控和测试框架。
基于 GPTQ 算法的易用 LLM 量化包,提供用户友好的 API。支持 int4 量化,提升推理速度并降低显存占用。已集成至 Transformers 等框架。
开源云原生一站式 AI 平台,支持 MLOps 全流程、分布式训练、超参搜索、推理服务 VGPU 虚拟化、大模型微调与多机推理,兼容国产硬件及多种框架。