大语言模型资源
探索与 大语言模型 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
taskingai/taskingai
开源 AI 原生应用开发平台。统一集成数百种 LLM 模型，提供工具、RAG、助手等模块的直观管理。支持异步高性能计算与一键部署，助力高效构建可扩展的 AI Agent。
coze-dev/coze-loop
下一代 AI Agent 优化平台，提供开发、调试、评估到监控的全生命周期管理，支持 Prompt 开发、系统评估与可观测性，助力高效构建与运营 AI Agent。
agentops-ai/agentops
Python SDK，用于 AI 智能体监控、LLM 成本追踪与基准测试。原生集成 CrewAI、OpenAI Agents SDK、LangChain 等主流框架，支持自托管，助力从原型到生产的全流程开发。
kodu-ai/claude-coder
VS Code 扩展，自主编码代理。将想法转化为代码，支持网站、仪表盘、服务器开发。提供调试、部署、网络搜索功能，适合各水平开发者。加速开发流程，让编码更高效。
langchain-ai/open-swe
基于 LangGraph 构建的开源异步编码代理，能自主理解代码库、规划解决方案并执行代码更改。支持并行任务、人机交互和端到端管理，可从 UI 或 GitHub 启动。
superset-sh/superset
专为 AI 代理时代打造的终端 IDE，支持并行运行 Claude Code、Codex 等 CLI 代理。提供工作树隔离、统一监控和内置差异查看器，提升开发效率。
strands-agents/sdk-python
轻量级 Python SDK，采用模型驱动方法，仅需几行代码即可构建 AI 代理。支持多模型提供商、MCP 协议及热重载工具，适用于从开发到生产的各类场景。
superduper-io/superduper
端到端框架，用于构建自定义 AI 应用和智能体。支持多种数据库后端，如 MongoDB、SQL、Snowflake 和 Redis。基于 Python，提供插件化架构，便于集成现有工具。
zenml-io/zenml
一个统一的 AI 平台，从管道到智能体。支持任何 Python 逻辑，自动容器化、追踪运行、抽象基础设施复杂性，并集成 MLflow、Langgraph 等工具，助力快速迭代实验。
dsdanielpark/bard-api
非官方 Python 包，通过 Cookie 值调用 Google Bard API。适用于无法通过官方认证的用户。项目已停止维护，建议转向 Gemini API。
helicone/helicone
开源 LLM 可观测性平台与 AI 网关。一行代码集成，支持 100+ 模型，提供追踪、监控、评估和实验功能。包含成本与延迟追踪、代理追踪、自动回退及提示管理。支持自托管，提供免费套餐。
rllm-org/rllm
开源强化学习框架，用于语言智能体的后训练。支持自定义智能体与环境构建，提供 verl 和 tinker 两种训练后端，便于部署与扩展。
treeverse/lakefs
lakeFS 是开源数据湖版本控制工具，提供类 Git 的数据管理能力。支持 AWS S3、Azure Blob Storage 和 Google Cloud Storage，兼容 S3 API，可与 Spark、Hive 等框架无缝集成。实现可重复、原子性的数据湖操作，适用于 ETL 测试、数据科学和分析。
salesforce/codegen
开源程序合成模型家族，由 Salesforce AI Research 开发。包含 CodeGen1 和 CodeGen2 系列，参数规模从 350M 到 16B，性能媲美 OpenAI Codex。提供多版本模型，支持 Hugging Face Hub 调用。
kserve/kserve
基于 Kubernetes 的标准化分布式生成式与预测式 AI 推理平台，支持多框架部署。提供 LLM 优化、GPU 加速、模型缓存、KV 缓存卸载、自动扩缩容等生成式 AI 功能，以及多框架支持、智能路由、高级部署、模型可解释性、高级监控等预测式 AI 功能。
giskard-ai/giskard-oss
开源评估与测试库，用于 LLM 代理。自动检测 AI 应用中的性能、偏见和安全问题，支持 RAG 评估工具包 (RAGET) 生成测试集并评估各组件，兼容多种模型与环境。
opencx-labs/copilot
Copilot 是 opencx-labs/copilot 项目，主要使用 TypeScript 开发。项目已不再维护。
katanaml/sparrow
基于 ML、LLM 和 Vision LLM 实现结构化数据提取与指令调用。支持多格式文档处理、可插拔架构、多种后端（MLX、Ollama、vLLM、Hugging Face）及 RESTful API。提供交互式 Web 界面，支持拖拽上传与实时处理。
flashinfer-ai/flashinfer
高性能 GPU 内核库，服务于大语言模型推理。提供统一 API，支持注意力、GEMM、MoE 等操作，具备多种后端实现。优化预填充、解码与混合批处理场景，支持 FP8/FP4 低精度计算与现代 GPU 架构。
internlm/xtuner
新一代超大规模 MoE 模型训练引擎。支持无丢弃训练、长序列支持及卓越效率，训练规模可达 1T 参数。优化 Ascend NPU，兼容 GPU 与 NPU 硬件。
nanbingxyz/5ire
跨平台桌面 AI 助手与 MCP 客户端。兼容主流服务提供商，支持通过 MCP 服务器接入本地知识库与工具。基于 TypeScript 构建，提供文件系统访问、数据库交互等扩展能力。
xlite-dev/awesome-llm-inference
精选 LLM/VLM 推理论文与代码库，涵盖 Flash-Attention、Paged-Attention、WINT8/4、并行化等技术。提供 PDF 下载与分类索引。
lintsinghua/deepaudit
autogptq/autogptq
基于 GPTQ 算法的易用 LLM 量化包，提供用户友好的 API。支持 int4 量化，提升推理速度并降低显存占用。已集成至 Transformers 等框架。