探索 大语言模型 项目
筛选并发现收录的、配有高质量中文文档或教程的 GitHub 项目。
LLM 漏洞扫描工具，用于检测生成式 AI 的幻觉、数据泄露、提示注入、误导信息、毒性生成及越狱等弱点。支持多种 LLM 接口，如 Hugging Face、OpenAI、AWS Bedrock 等。
专为闲鱼平台打造的 AI 客服机器人系统，实现 7×24 小时自动化值守。支持多专家协同决策、智能议价和上下文感知对话，核心基于 Python 与 LLM 技术。
AI 驱动的个人新闻雷达，每日生成英中文简报。支持 Hacker News、RSS、Reddit 等多源聚合、去重、评分与背景补充，可部署为 GitHub Pages 站点或通过邮件、飞书等渠道推送。
基于 Model Context Protocol 构建高效智能体的 Python 框架。提供可组合的工作流模式，如 map-reduce、orchestrator 等，支持 Temporal 持久化，实现简单、稳健的智能体应用开发。
为 OpenAI ChatGPT 提供的跨平台（网站 + Windows + MacOS + Linux）强大 UI。免费、无限制，支持代理、提示库、文件夹管理、自定义参数、多语言等。可本地部署或使用 Vercel/GitHub Pages 托管。
通过 k-bit 量化技术，为 PyTorch 提供可访问的大语言模型。包含 8-bit 优化器、LLM.int8() 推理和 QLoRA 4-bit 训练，显著降低内存消耗，同时保持 32-bit 性能。
一个 AI 模型性能优化库集合，包含 Speedster、Nos 和 ChatLLaMA 等工具，旨在降低推理、基础设施和数据成本。项目已进入维护阶段，不再积极更新。
交互式可视化工具，在浏览器中运行 GPT-2 模型，实时展示 Transformer 内部组件如何协同工作以预测下一个 token。
高性能本地推理框架，支持NPU/GPU/CPU，覆盖PC、移动端及Linux/IoT，提供Day-0前沿模型支持，如Qwen3-VL、Gemma-3n等。
全栈生成式 UI 框架，采用紧凑的流式优先语言 OpenUI Lang，支持 React 运行时与内置组件库。相比 JSON 节省 67% 令牌，提供流式渲染与提示生成能力。
整理了基于大语言模型智能体的必读论文列表，涵盖单智能体、多智能体及人机协作场景，并提供 AgentGym 等开发框架与 RL 训练工具。
为 LLM 查询构建语义缓存，降低 10 倍成本并提升 100 倍速度。完全集成 LangChain 和 llama_index，支持 Python。
使用少于 500 行代码构建对话式搜索引擎。内置 LLM 和搜索引擎支持，提供可自定义的精美 UI 界面，支持可共享和缓存的搜索结果。支持 Bing、Google 等多种搜索引擎。
开源浏览器扩展，为本地 AI 模型提供侧边栏和 Web UI，支持与任何网页内容交互。兼容 Chrome、Firefox、Edge 等浏览器，可通过 Ollama 或 OpenAI API 兼容端点使用。
基于 Rust 构建模块化、可扩展的 LLM 应用。支持 20+ 模型提供商统一接口、10+ 向量存储集成，具备完整的 GenAI 语义规范兼容性与 WASM 支持。
开源深度研究工具，结合 LLM 与向量数据库，基于私有数据进行搜索、评估与推理，提供高精度答案与综合报告。支持多种 LLM 和嵌入模型，具备私有数据搜索、向量数据库管理及文档加载功能。
面向金融科技与银行的生产级 AI Agent 框架，以安全为核心。支持文档分析、客户服务自动化、金融分析与合规监控。提供内置安全引擎、统一 OCR 接口、多智能体协作及工具集成，快速构建可扩展的智能体系统。
开源 AI 代理元框架与调度器，统一管理 Claude Code、Codex、Cursor、Pi 及自定义代理。无需重写即可切换环境，强制执行策略与沙箱，支持跨设备实时协作。提供桌面应用，集成云端沙箱与多模型，实现安全监督与团队协作。
开源 ML 和 LLM 可观测性框架。评估、测试和监控任何 AI 系统或数据管道。支持表格和文本数据。提供 100+ 内置指标。支持离线评估和实时监控。
🚀🎬 AI 框架，用于自动化 YouTube Shorts / TikTok 频道内容创作。支持多语言语音合成、视频剪辑、素材获取与字幕生成，基于 Python 构建。
ERNIE 4.5 是基于飞桨的多模态大模型家族，包含 10 个变体，支持 MoE 架构与参数共享。ERNIEKit 提供工业级开发工具包，支持 SFT、LoRA 训练及多硬件部署，具备高效训练与推理能力。
提供全面的提示工程教程与实现，涵盖从基础到高级策略。包含 22 个 Jupyter Notebook 实践教程，助力掌握与大语言模型高效交互的技能。
提供免费的 OpenAI GPT-4 API。TypeScript 版本的 xtekky/gpt4free 复现项目，支持多种模型，包括 GPT-4、Claude 等。
数据中心级分布式推理服务框架，支持多节点多 GPU 部署。提供解耦预填充与解码、动态 GPU 调度、KV 感知路由、加速数据传输和 KV 缓存卸载等功能，以 Rust 构建高性能核心，Python 实现可扩展性。
基于 Rust 的高性能 LLM 推理框架，支持 HuggingFace 模型零配置运行，提供多模态能力、内置 Web UI 及硬件自动调优。支持 GGUF、GPTQ 等多种量化格式，具备连续批处理与 PagedAttention 加速。
将代码库转换为单一大语言模型提示词的 CLI 工具。支持源码树、提示词模板和 Token 计数。提供 Rust 核心库、Python SDK 与 MCP 服务器。