探索 大语言模型 项目
筛选并发现收录的、配有高质量中文文档或教程的 GitHub 项目。
开源 AI 原生应用开发平台。统一集成数百种 LLM 模型，提供工具、RAG、助手等模块的直观管理。支持异步高性能计算与一键部署，助力高效构建可扩展的 AI Agent。
下一代 AI Agent 优化平台，提供开发、调试、评估到监控的全生命周期管理，支持 Prompt 开发、系统评估与可观测性，助力高效构建与运营 AI Agent。
Python SDK，用于 AI 智能体监控、LLM 成本追踪与基准测试。原生集成 CrewAI、OpenAI Agents SDK、LangChain 等主流框架，支持自托管，助力从原型到生产的全流程开发。
VS Code 扩展，自主编码代理。将想法转化为代码，支持网站、仪表盘、服务器开发。提供调试、部署、网络搜索功能，适合各水平开发者。加速开发流程，让编码更高效。
基于 LangGraph 构建的开源异步编码代理，能自主理解代码库、规划解决方案并执行代码更改。支持并行任务、人机交互和端到端管理，可从 UI 或 GitHub 启动。
专为 AI 代理时代打造的终端 IDE，支持并行运行 Claude Code、Codex 等 CLI 代理。提供工作树隔离、统一监控和内置差异查看器，提升开发效率。
轻量级 Python SDK，采用模型驱动方法，仅需几行代码即可构建 AI 代理。支持多模型提供商、MCP 协议及热重载工具，适用于从开发到生产的各类场景。
端到端框架，用于构建自定义 AI 应用和智能体。支持多种数据库后端，如 MongoDB、SQL、Snowflake 和 Redis。基于 Python，提供插件化架构，便于集成现有工具。
一个统一的 AI 平台，从管道到智能体。支持任何 Python 逻辑，自动容器化、追踪运行、抽象基础设施复杂性，并集成 MLflow、Langgraph 等工具，助力快速迭代实验。
非官方 Python 包，通过 Cookie 值调用 Google Bard API。适用于无法通过官方认证的用户。项目已停止维护，建议转向 Gemini API。
开源 LLM 可观测性平台与 AI 网关。一行代码集成，支持 100+ 模型，提供追踪、监控、评估和实验功能。包含成本与延迟追踪、代理追踪、自动回退及提示管理。支持自托管，提供免费套餐。
lakeFS 是开源数据湖版本控制工具，提供类 Git 的数据管理能力。支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage，兼容 S3 API，可与 Spark、Hive 等框架无缝集成。实现可重复、原子性的数据湖操作，适用于 ETL 测试、数据科学和分析。
开源程序合成模型家族，由 Salesforce AI Research 开发。包含 CodeGen1 和 CodeGen2 系列，参数规模从 350M 到 16B，性能媲美 OpenAI Codex。提供多版本模型，支持 Hugging Face Hub 调用。
基于 Kubernetes 的标准化分布式生成式与预测式 AI 推理平台，支持多框架部署。提供 LLM 优化、GPU 加速、模型缓存、KV 缓存卸载、自动扩缩容等生成式 AI 功能，以及多框架支持、智能路由、高级部署、模型可解释性、高级监控等预测式 AI 功能。
开源评估与测试库，用于 LLM 代理。自动检测 AI 应用中的性能、偏见和安全问题，支持 RAG 评估工具包 (RAGET) 生成测试集并评估各组件，兼容多种模型与环境。
Copilot 是 opencx-labs/copilot 项目，主要使用 TypeScript 开发。项目已不再维护。
基于 ML、LLM 和 Vision LLM 实现结构化数据提取与指令调用。支持多格式文档处理、可插拔架构、多种后端（MLX、Ollama、vLLM、Hugging Face）及 RESTful API。提供交互式 Web 界面，支持拖拽上传与实时处理。
高性能 GPU 内核库，服务于大语言模型推理。提供统一 API，支持注意力、GEMM、MoE 等操作，具备多种后端实现。优化预填充、解码与混合批处理场景，支持 FP8/FP4 低精度计算与现代 GPU 架构。
新一代超大规模 MoE 模型训练引擎。支持无丢弃训练、长序列支持及卓越效率，训练规模可达 1T 参数。优化 Ascend NPU，兼容 GPU 与 NPU 硬件。
跨平台桌面 AI 助手与 MCP 客户端。兼容主流服务提供商，支持通过 MCP 服务器接入本地知识库与工具。基于 TypeScript 构建，提供文件系统访问、数据库交互等扩展能力。
精选 LLM/VLM 推理论文与代码库，涵盖 Flash-Attention、Paged-Attention、WINT8/4、并行化等技术。提供 PDF 下载与分类索引。
基于 GPTQ 算法的易用 LLM 量化包，提供用户友好的 API。支持 int4 量化，提升推理速度并降低显存占用。已集成至 Transformers 等框架。