大语言模型资源
探索与 大语言模型 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
nvidia/garak
LLM 漏洞扫描工具，用于检测生成式 AI 的幻觉、数据泄露、提示注入、误导信息、毒性生成及越狱等弱点。支持多种 LLM 接口，如 Hugging Face、OpenAI、AWS Bedrock 等。
google/adk-go
开源、代码优先的 Go 工具包，用于构建、评估和部署复杂 AI 智能体。具备模块化、多智能体系统、云原生部署能力，支持灵活控制与高并发。
shaxiu/xianyuautoagent
专为闲鱼平台打造的 AI 客服机器人系统，实现 7×24 小时自动化值守。支持多专家协同决策、智能议价和上下文感知对话，核心基于 Python 与 LLM 技术。
thysrael/horizon
AI 驱动的个人新闻雷达，每日生成英中文简报。支持 Hacker News、RSS、Reddit 等多源聚合、去重、评分与背景补充，可部署为 GitHub Pages 站点或通过邮件、飞书等渠道推送。
lastmile-ai/mcp-agent
基于 Model Context Protocol 构建高效智能体的 Python 框架。提供可组合的工作流模式，如 map-reduce、orchestrator 等，支持 Temporal 持久化，实现简单、稳健的智能体应用开发。
ztjhz/betterchatgpt
为 OpenAI ChatGPT 提供的跨平台（网站 + Windows + MacOS + Linux）强大 UI。免费、无限制，支持代理、提示库、文件夹管理、自定义参数、多语言等。可本地部署或使用 Vercel/GitHub Pages 托管。
bitsandbytes-foundation/bitsandbytes
通过 k-bit 量化技术，为 PyTorch 提供可访问的大语言模型。包含 8-bit 优化器、LLM.int8() 推理和 QLoRA 4-bit 训练，显著降低内存消耗，同时保持 32-bit 性能。
nebuly-ai/optimate
一个 AI 模型性能优化库集合，包含 Speedster、Nos 和 ChatLLaMA 等工具，旨在降低推理、基础设施和数据成本。项目已进入维护阶段，不再积极更新。
poloclub/transformer-explainer
交互式可视化工具，在浏览器中运行 GPT-2 模型，实时展示 Transformer 内部组件如何协同工作以预测下一个 token。
idosal/git-mcp
免费开源的远程 MCP 服务器，将任何 GitHub 项目转化为文档中心，为 AI 工具提供最新代码与文档，消除代码幻觉。
qualcomm/geniex
高性能本地推理框架，支持NPU/GPU/CPU，覆盖PC、移动端及Linux/IoT，提供Day-0前沿模型支持，如Qwen3-VL、Gemma-3n等。
thesysdev/openui
全栈生成式 UI 框架，采用紧凑的流式优先语言 OpenUI Lang，支持 React 运行时与内置组件库。相比 JSON 节省 67% 令牌，提供流式渲染与提示生成能力。
woooodyy/llm-agent-paper-list
整理了基于大语言模型智能体的必读论文列表，涵盖单智能体、多智能体及人机协作场景，并提供 AgentGym 等开发框架与 RL 训练工具。
zilliztech/gptcache
为 LLM 查询构建语义缓存，降低 10 倍成本并提升 100 倍速度。完全集成 LangChain 和 llama_index，支持 Python。
leptonai/search_with_lepton
使用少于 500 行代码构建对话式搜索引擎。内置 LLM 和搜索引擎支持，提供可自定义的精美 UI 界面，支持可共享和缓存的搜索结果。支持 Bing、Google 等多种搜索引擎。
n4ze3m/page-assist
开源浏览器扩展，为本地 AI 模型提供侧边栏和 Web UI，支持与任何网页内容交互。兼容 Chrome、Firefox、Edge 等浏览器，可通过 Ollama 或 OpenAI API 兼容端点使用。
0xplaygrounds/rig
基于 Rust 构建模块化、可扩展的 LLM 应用。支持 20+ 模型提供商统一接口、10+ 向量存储集成，具备完整的 GenAI 语义规范兼容性与 WASM 支持。
zilliztech/deep-searcher
开源深度研究工具，结合 LLM 与向量数据库，基于私有数据进行搜索、评估与推理，提供高精度答案与综合报告。支持多种 LLM 和嵌入模型，具备私有数据搜索、向量数据库管理及文档加载功能。
internlm/lmdeploy
高性能大语言模型压缩、部署与服务工具包，支持 TurboMind 和 PyTorch 引擎，提供量化、多模态推理及分布式部署能力。
upsonic/upsonic
面向金融科技与银行的生产级 AI Agent 框架，以安全为核心。支持文档分析、客户服务自动化、金融分析与合规监控。提供内置安全引擎、统一 OCR 接口、多智能体协作及工具集成，快速构建可扩展的智能体系统。
omnigent-ai/omnigent
开源 AI 代理元框架与调度器，统一管理 Claude Code、Codex、Cursor、Pi 及自定义代理。无需重写即可切换环境，强制执行策略与沙箱，支持跨设备实时协作。提供桌面应用，集成云端沙箱与多模型，实现安全监督与团队协作。
evidentlyai/evidently
开源 ML 和 LLM 可观测性框架。评估、测试和监控任何 AI 系统或数据管道。支持表格和文本数据。提供 100+ 内置指标。支持离线评估和实时监控。
rayventura/shortgpt
🚀🎬 AI 框架，用于自动化 YouTube Shorts / TikTok 频道内容创作。支持多语言语音合成、视频剪辑、素材获取与字幕生成，基于 Python 构建。
paddlepaddle/ernie
ERNIE 4.5 是基于飞桨的多模态大模型家族，包含 10 个变体，支持 MoE 架构与参数共享。ERNIEKit 提供工业级开发工具包，支持 SFT、LoRA 训练及多硬件部署，具备高效训练与推理能力。
sweepai/sweep
Sweep 是 JetBrains 的 AI 编码助手，提供智能代码建议与自动化开发支持。
nirdiamant/prompt_engineering
提供全面的提示工程教程与实现，涵盖从基础到高级策略。包含 22 个 Jupyter Notebook 实践教程，助力掌握与大语言模型高效交互的技能。
xiangsx/gpt4free-ts
提供免费的 OpenAI GPT-4 API。TypeScript 版本的 xtekky/gpt4free 复现项目，支持多种模型，包括 GPT-4、Claude 等。
ai-dynamo/dynamo
数据中心级分布式推理服务框架，支持多节点多 GPU 部署。提供解耦预填充与解码、动态 GPU 调度、KV 感知路由、加速数据传输和 KV 缓存卸载等功能，以 Rust 构建高性能核心，Python 实现可扩展性。
ericlbuehler/mistral.rs
基于 Rust 的高性能 LLM 推理框架，支持 HuggingFace 模型零配置运行，提供多模态能力、内置 Web UI 及硬件自动调优。支持 GGUF、GPTQ 等多种量化格式，具备连续批处理与 PagedAttention 加速。
mufeedvh/code2prompt
将代码库转换为单一大语言模型提示词的 CLI 工具。支持源码树、提示词模板和 Token 计数。提供 Rust 核心库、Python SDK 与 MCP 服务器。