大语言模型资源
探索与 大语言模型 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
mistralai/mistral-inference
官方推理库，支持 Mistral 系列模型，包括 7B、8x7B、8x22B、Codestral、Mathstral、Nemo、Large 2 和 Pixtral 12B。提供 PyPI 和本地安装方式，模型可通过直接链接或 Hugging Face Hub 下载。
openvinotoolkit/openvino
开源工具包，用于优化和部署 AI 推理。支持 PyTorch、TensorFlow、ONNX 等模型，兼容 CPU、GPU 和 AI 加速器。提供从边缘到云的灵活部署方案。
kalyanks-nlp/llm-engineer-toolkit
精选 120+ LLM 库，按类别整理，涵盖训练、微调、推理、服务、RAG、Agent、评估等全流程工具。
openpipe/art
开源强化学习框架，使用 GRPO 训练多步骤智能体。支持 Qwen、Llama 等模型，提供无服务器训练，降低成本并加速反馈循环。
langchain-ai/open-swe
基于 LangGraph 构建的开源异步编码代理，能自主理解代码库、规划解决方案并执行代码更改。支持并行任务、人机交互和端到端管理，可从 UI 或 GitHub 启动。
mcp-use/mcp-use
提供最简单的方式，通过 6 行代码在 Python 和 TypeScript 中构建 MCP 服务器、客户端和 AI 代理。支持自定义代理与 MCP 服务器交互，包含调试工具和 UI 资源。
cactus-compute/needle
14MB 基础模型，适用于手机、可穿戴等小型设备；单个二进制文件，28MB RAM 运行；支持工具调用、设备使用、结构化提取；置信度门控、工具检索、内存受限。
skypilot-org/skypilot
在任何 AI 基础设施上运行、管理和扩展 AI 工作负载。统一访问和管理所有 AI 计算资源（Kubernetes、20+ 云或本地）。提供简单接口，支持多云池、自动扩缩容和成本优化。
voltagent/voltagent
基于开源TypeScript框架的AI智能体工程平台，提供内存、RAG、工具、MCP、语音、工作流等核心功能。支持多智能体协同与监督者模式，兼容多种LLM提供商，具备可观测性、部署和评估能力。
sigoden/aichat
全能型 LLM CLI 工具，支持 Shell 助手、Chat-REPL、RAG、AI 工具与代理。集成 OpenAI、Claude、Gemini 等 20+ 主流模型提供商，提供多模式输入与角色定制。
runanywhereai/runanywhere-sdks
生产就绪的工具包，用于在移动端本地运行 AI。支持 LLM、语音转文本和文本转语音，完全离线、私密且快速。提供 Swift、Kotlin、React Native 和 Flutter SDK。
astrid-runtime/astrid
面向 AI 代理的操作系统，基于 Rust 构建。提供内核、虚拟文件系统、WASM 隔离和能力令牌。通过可替换的胶囊实现灵活配置，支持离线运行、成本优化和自修改代理。
netflix/metaflow
以人为本的框架，帮助科学家和工程师构建和管理 AI/ML 系统。支持从笔记本快速原型到生产部署的全流程，具备实验跟踪、版本控制、可视化及云上弹性伸缩能力。由 Netflix 开发，现由 Outerbounds 支持。
chaitin/pandawiki
AI 大模型驱动的开源知识库系统，快速构建智能文档、FAQ、博客，提供 AI 创作、问答、搜索能力。支持 Docker 部署，兼容 Markdown/HTML，可集成第三方应用。
opengvlab/internvl
开源多模态对话模型，性能接近 GPT-4o，支持视觉与文本理解，提供完整训练与推理代码。
openrlhf/openrlhf
基于 Ray 的易用、可扩展、高性能智能体强化学习框架，支持 PPO、REINFORCE++ 等多种算法，集成 vLLM 与异步训练。
aliasrobotics/cai
网络安全 AI 框架，提供 AI 安全评估与防护工具。支持多平台，集成 300+ 模型，社区驱动，开源免费。
omnigent-ai/omnigent
开源 AI 代理元框架与调度器，统一管理 Claude Code、Codex、Cursor、Pi 及自定义代理。无需重写即可切换环境，强制执行策略与沙箱，支持跨设备实时协作。提供桌面应用，集成云端沙箱与多模型，实现安全监督与团队协作。
tiiny-ai/powerinfer
面向消费级 GPU 的高速大语言模型推理引擎，利用激活局部性实现 CPU/GPU 混合推理，显著降低内存需求与数据传输，支持多种模型与硬件。
hkuds/autoagent
全自动、零代码的 LLM Agent 框架。通过自然语言驱动，自动构建和编排协作式智能体系统。支持自管理工作流生成与智能资源编排，无需编码即可创建和定制 Agent、工具与工作流。
microsoft/ufo
UFO³：编织数字智能体星系。从单设备智能体到多设备星系，实现跨设备协作、复杂自动化与异构平台集成。UFO² 为稳定桌面智能体操作系统，UFO³ Galaxy 提供多设备编排能力。
apache/seatunnel
高性能分布式数据集成工具，支持多模态数据、160+连接器，提供实时、CDC和全库同步，具备资源高效和监控能力。
fareedkhan-dev/train-llm-from-scratch
基于 PyTorch 从零实现 Transformer，支持单 GPU 训练亿级参数 LLM，涵盖从数据下载到文本生成全流程。新增对齐后训练套件（SFT、RM、PPO、DPO、GRPO），纯 PyTorch 手写，无需 trl/peft/transformers。
xorbitsai/inference
通过单行代码切换任意LLM。支持云端、本地或笔记本部署开源、语音及多模态模型，提供统一的生产级推理API。
mengxi-ream/read-frog
开源沉浸式翻译浏览器扩展，支持多 AI 模型、上下文感知翻译、选区翻译、自定义提示词及字幕翻译等，助力语言学习。
kyrolabs/awesome-langchain
精选 LangChain 生态工具与项目列表。涵盖框架、多语言移植、低代码工具、服务、开源项目及学习资源，助力 LLM 应用快速开发。
oumi-ai/oumi
轻松微调、评估和部署 gpt-oss、Qwen3、DeepSeek-R1 或任何开源 LLM / VLM！端到端构建 SOTA 基础模型。
yzhao062/anomaly-detection-resources
汇集异常检测相关书籍、论文、视频和工具箱，覆盖 LLM 和 VLM 等前沿工作，提供全面的学习资源。
adongwanai/agentguide
AI Agent 开发指南 | LangGraph 实战 | 高级 RAG | 转行大模型 | 大模型面试 | 算法工程师 | 面试题库 | 强化学习 | 数据合成。系统化 + 求职导向 + 实战验证，提供从入门到拿 Offer 的完整路径。
coaidev/coai
🚀 下一代 AI 一站式 B/C 端解决方案，支持 OpenAI、Midjourney、Claude 等多模型，提供对话分享、自定义预设、云端同步、模型市场、弹性计费与订阅计划，支持图片解析、联网搜索、模型缓存，配备丰富美观的后台管理与仪表盘。