探索 大语言模型 项目
筛选并发现收录的、配有高质量中文文档或教程的 GitHub 项目。
跨平台桌面应用，无需安装 Edge 或浏览器插件即可使用新版 Bing AI 聊天。支持导出对话为 Markdown、PNG 或 PDF，可自定义主题与字体大小，提供键盘快捷键。
UFO³：编织数字智能体星系。从单设备智能体到多设备星系，实现跨设备协作、复杂自动化与异构平台集成。UFO² 为稳定桌面智能体操作系统，UFO³ Galaxy 提供多设备编排能力。
加速本地大模型推理与微调，支持 Intel XPU（iGPU、NPU、Arc 等），无缝集成 llama.cpp、Ollama、HuggingFace 等框架，提供 70+ 模型优化与低比特支持。
强大的 GUI 智能体家族，支持跨平台自动化操作。提供在线演示与 API，集成 GUI-Owl 多模态模型，适用于 OSWorld、AndroidWorld 及真实移动场景。
统一模型服务框架。轻松构建 AI/ML 模型推理 API、多模型流水线及 LLM 应用。支持 Docker 部署与 BentoCloud 云服务，优化 CPU/GPU 利用率。
企业级、商业友好的智能体工作流平台，集成 AI 工作流编排、模型管理、AI 与 MCP 工具集成、RPA 自动化及团队协作功能。支持高可用部署，助力快速构建可扩展的生产就绪智能体应用。
🚀💪 最大化效率与生产力。管理、定制和分享提示词的终极中心。提供一键复制、智能搜索、多语言支持、社区分享及浏览器扩展等功能，无需注册即可使用。
多语言语音理解模型，支持高精度 ASR、LID、SER 及 AED。基于 40 万小时数据训练，覆盖 50+ 语言，推理高效，支持微调与服务部署。
汇总全球顶尖 LLM 资源，涵盖多模态生成、Agent、辅助编程、AI 审稿、数据处理、模型训练与推理、o1 模型、MCP、小语言模型及视觉语言模型等。
高性能LLM KV缓存层，通过零CPU拷贝、NIXL等技术加速，支持跨数据中心复用缓存，显著降低首token延迟并提升吞吐量，适用于长上下文场景。
本地化深度研究助手，支持所有本地及云端 LLM，10+ 搜索引擎，数据全本地加密。在 RTX 3090 上实现 ~95% SimpleQA 准确率。
为 OpenAI ChatGPT 提供的跨平台（网站 + Windows + MacOS + Linux）强大 UI。免费、无限制，支持代理、提示库、文件夹管理、自定义参数、多语言等。可本地部署或使用 Vercel/GitHub Pages 托管。
基于 Model Context Protocol 构建高效智能体的 Python 框架。提供可组合的工作流模式，如 map-reduce、orchestrator 等，支持 Temporal 持久化，实现简单、稳健的智能体应用开发。
BAML 是一个用于构建可靠 AI 工作流和代理的简单提示语言。它将提示工程转变为模式工程，支持 Python、TS、Ruby、Java、C#、Rust、Go 等多种语言。提供完整的类型安全、流式处理和重试机制，即使模型不支持原生工具调用 API 也能可靠工作。
一个 AI 模型性能优化库集合，包含 Speedster、Nos 和 ChatLLaMA 等工具，旨在降低推理、基础设施和数据成本。项目已进入维护阶段，不再积极更新。
通过 k-bit 量化技术，为 PyTorch 提供可访问的大语言模型。包含 8-bit 优化器、LLM.int8() 推理和 QLoRA 4-bit 训练，显著降低内存消耗，同时保持 32-bit 性能。
基于项目的 AI 编码代理工程课程，涵盖环境构建、状态管理、验证与控制机制，提供 12 讲、6 个项目及多语言支持。
整理了基于大语言模型智能体的必读论文列表，涵盖单智能体、多智能体及人机协作场景，并提供 AgentGym 等开发框架与 RL 训练工具。
高性能本地推理框架，支持NPU/GPU/CPU，覆盖PC、移动端及Linux/IoT，提供Day-0前沿模型支持，如Qwen3-VL、Gemma-3n等。
使用少于 500 行代码构建对话式搜索引擎。内置 LLM 和搜索引擎支持，提供可自定义的精美 UI 界面，支持可共享和缓存的搜索结果。支持 Bing、Google 等多种搜索引擎。
LLM 漏洞扫描工具，用于检测生成式 AI 的幻觉、数据泄露、提示注入、误导信息、毒性生成及越狱等弱点。支持多种 LLM 接口，如 Hugging Face、OpenAI、AWS Bedrock 等。
为 LLM 查询构建语义缓存，降低 10 倍成本并提升 100 倍速度。完全集成 LangChain 和 llama_index，支持 Python。
开源浏览器扩展，为本地 AI 模型提供侧边栏和 Web UI，支持与任何网页内容交互。兼容 Chrome、Firefox、Edge 等浏览器，可通过 Ollama 或 OpenAI API 兼容端点使用。
专为闲鱼平台打造的 AI 客服机器人系统，实现 7×24 小时自动化值守。支持多专家协同决策、智能议价和上下文感知对话，核心基于 Python 与 LLM 技术。