大语言模型资源
探索与 大语言模型 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
internlm/lmdeploy
高性能大语言模型压缩、部署与服务工具包，支持 TurboMind 和 PyTorch 引擎，提供量化、多模态推理及分布式部署能力。
opendcai/dataflow
一站式 LLM 数据生成、清洗与准备工具。提供可视化低代码流水线，支持灵活编排，轻松将原始数据转化为高质量训练集。包含 WebUI、技能库及丰富教程。
ai-dynamo/dynamo
数据中心级分布式推理服务框架，支持多节点多 GPU 部署。提供解耦预填充与解码、动态 GPU 调度、KV 感知路由、加速数据传输和 KV 缓存卸载等功能，以 Rust 构建高性能核心，Python 实现可扩展性。
upsonic/upsonic
面向金融科技与银行的生产级 AI Agent 框架，以安全为核心。支持文档分析、客户服务自动化、金融分析与合规监控。提供内置安全引擎、统一 OCR 接口、多智能体协作及工具集成，快速构建可扩展的智能体系统。
rayventura/shortgpt
🚀🎬 AI 框架，用于自动化 YouTube Shorts / TikTok 频道内容创作。支持多语言语音合成、视频剪辑、素材获取与字幕生成，基于 Python 构建。
evidentlyai/evidently
开源 ML 和 LLM 可观测性框架。评估、测试和监控任何 AI 系统或数据管道。支持表格和文本数据。提供 100+ 内置指标。支持离线评估和实时监控。
maximhq/bifrost
高性能企业级 AI 网关，支持 1000+ 模型，50x 优于 LiteLLM，自适应负载均衡、集群模式、防护机制，5k RPS 下延迟 <100 µs。
nirdiamant/prompt_engineering
提供全面的提示工程教程与实现，涵盖从基础到高级策略。包含 22 个 Jupyter Notebook 实践教程，助力掌握与大语言模型高效交互的技能。
osaurus-ai/osaurus
原生 macOS AI 框架，支持任意模型、持久记忆、自主执行与加密身份。纯 Swift 构建，完全离线，开源。
paddlepaddle/ernie
ERNIE 4.5 是基于飞桨的多模态大模型家族，包含 10 个变体，支持 MoE 架构与参数共享。ERNIEKit 提供工业级开发工具包，支持 SFT、LoRA 训练及多硬件部署，具备高效训练与推理能力。
sweepai/sweep
Sweep 是 JetBrains 的 AI 编码助手，提供智能代码建议与自动化开发支持。
xiangsx/gpt4free-ts
提供免费的 OpenAI GPT-4 API。TypeScript 版本的 xtekky/gpt4free 复现项目，支持多种模型，包括 GPT-4、Claude 等。
ericlbuehler/mistral.rs
基于 Rust 的高性能 LLM 推理框架，支持 HuggingFace 模型零配置运行，提供多模态能力、内置 Web UI 及硬件自动调优。支持 GGUF、GPTQ 等多种量化格式，具备连续批处理与 PagedAttention 加速。
mufeedvh/code2prompt
将代码库转换为单一大语言模型提示词的 CLI 工具。支持源码树、提示词模板和 Token 计数。提供 Rust 核心库、Python SDK 与 MCP 服务器。
aaswordman/operit
Android 上最强大的 AI 助手，支持本地模型、工具调用、Ubuntu 环境、语音交互与深度搜索，完全独立运行。
tailcallhq/forgecode
AI 增强的终端开发环境，支持 Claude、GPT、O Series 等 300+ 模型。集成代码理解、调试、重构等功能，提供交互式命令行体验。
steel-dev/steel-browser
开源浏览器 API，专为 AI 代理和应用设计。提供完整浏览器控制、会话管理、代理支持、扩展加载和反检测功能。基于 TypeScript，支持 Puppeteer、Playwright 和 Selenium 连接。
mnfst/manifest
智能模型路由，专为个人 AI 代理设计。自动将请求路由至最便宜的可用模型，成本降低高达 70%。支持自动故障转移和预算限制，所有数据自动记录于仪表板。
rikkahub/rikkahub
原生 Android LLM 聊天客户端，支持多模型提供商切换，具备 Material You 设计、多模态输入、网络访问及 MCP 等功能。
mnfst/awesome-free-llm-apis
精选永久免费 LLM API 列表，支持 OpenAI SDK 兼容接口，涵盖文本推理、多模态及代码生成等场景。
flyteorg/flyte
基于 Kubernetes 的可扩展工作流编排平台，统一数据、ML 和分析栈。支持 Python SDK 构建生产级管道，实现分布式处理与高效资源利用。
traceloop/openllmetry
基于 OpenTelemetry 的开源可观测性方案，为 GenAI 或 LLM 应用提供完整追踪能力。支持多种观测平台，如 Datadog、Honeycomb 等。
the-vibe-company/megaparse
专为 LLM 设计的无损文档解析器，支持 PDF、Docx、PPTx 等多种格式，提取表格、目录、页眉页脚和图片，确保信息完整。
open-compass/opencompass
LLM 评估平台，支持 Llama3、Mistral、InternLM2、GPT-4 等多种模型及 100+ 数据集。提供强大算法与直观界面，助力高效评估 NLP 模型质量与效果。
apache/hertzbeat
AI 驱动的下一代开源实时可观测性系统。统一指标与日志采集、集中告警分发、智能管理分析。无需 Agent，高性能集群，支持自定义监控与状态页构建。
guardrails-ai/guardrails
为大型语言模型添加安全护栏的 Python 框架。通过输入/输出守卫检测并缓解特定风险，支持从 LLM 生成结构化数据。提供丰富的验证器库，可组合成守卫以拦截模型输入输出。
arcee-ai/mergekit
用于合并预训练大语言模型的工具集。支持多种合并算法，可在 CPU 或低显存 GPU 上运行，支持 Llama、Mistral 等模型。提供 YAML 配置、LoRA 提取、专家混合合并等高级功能。
algorithmicsuperintelligence/openevolve
开源实现 AlphaEvolve 的进化编码代理。将 LLM 转化为自主代码优化器，自动发现突破性算法。支持 GPU 优化、数学优化等多领域，提供研究级可复现性，实现 2-3 倍硬件加速。
luhengshiwo/llmforeverybody
精选大模型面试题库与系统化论文研读，覆盖从 Transformer 到 LLaMA 的技术演进，助力求职备战与深度学习。
internlm/internlm
InternLM 系列开源大模型，涵盖 InternLM、InternLM2、InternLM2.5 和 InternLM3。最新 InternLM3-8B-Instruct 以 4 万亿高质量 token 训练，成本降低超 75%，在推理与知识密集型任务上性能领先，支持深度思考与流畅对话模式。