大语言模型资源
探索与 大语言模型 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
dice2o/binggpt
跨平台桌面应用，无需安装 Edge 或浏览器插件即可使用新版 Bing AI 聊天。支持导出对话为 Markdown、PNG 或 PDF，可自定义主题与字体大小，提供键盘快捷键。
microsoft/ufo
UFO³：编织数字智能体星系。从单设备智能体到多设备星系，实现跨设备协作、复杂自动化与异构平台集成。UFO² 为稳定桌面智能体操作系统，UFO³ Galaxy 提供多设备编排能力。
intel/ipex-llm
加速本地大模型推理与微调，支持 Intel XPU（iGPU、NPU、Arc 等），无缝集成 llama.cpp、Ollama、HuggingFace 等框架，提供 70+ 模型优化与低比特支持。
x-plug/mobileagent
强大的 GUI 智能体家族，支持跨平台自动化操作。提供在线演示与 API，集成 GUI-Owl 多模态模型，适用于 OSWorld、AndroidWorld 及真实移动场景。
fishaudio/bert-vits2
基于 VITS2 和多语言 BERT 的语音合成项目，提供 WebUI 预处理工具，支持多语言生成。
bentoml/bentoml
统一模型服务框架。轻松构建 AI/ML 模型推理 API、多模型流水线及 LLM 应用。支持 Docker 部署与 BentoCloud 云服务，优化 CPU/GPU 利用率。
microsoft/typechat
使用类型构建自然语言接口的库，替代提示工程。通过定义类型模式，自动处理 LLM 提示、响应验证与意图对齐，简化开发流程。
iflytek/astron-agent
企业级、商业友好的智能体工作流平台，集成 AI 工作流编排、模型管理、AI 与 MCP 工具集成、RPA 自动化及团队协作功能。支持高可用部署，助力快速构建可扩展的生产就绪智能体应用。
rockbenben/chatgpt-shortcut
🚀💪 最大化效率与生产力。管理、定制和分享提示词的终极中心。提供一键复制、智能搜索、多语言支持、社区分享及浏览器扩展等功能，无需注册即可使用。
funaudiollm/sensevoice
多语言语音理解模型，支持高精度 ASR、LID、SER 及 AED。基于 40 万小时数据训练，覆盖 50+ 语言，推理高效，支持微调与服务部署。
wangrongsheng/awesome-llm-resources
汇总全球顶尖 LLM 资源，涵盖多模态生成、Agent、辅助编程、AI 审稿、数据处理、模型训练与推理、o1 模型、MCP、小语言模型及视觉语言模型等。
evomap/evolver
基于 GEP 的 AI 代理自进化引擎。通过基因、胶囊和事件实现可审计的演化，将临时提示调整转化为可复用的进化资产。
lmcache/lmcache
高性能LLM KV缓存层，通过零CPU拷贝、NIXL等技术加速，支持跨数据中心复用缓存，显著降低首token延迟并提升吞吐量，适用于长上下文场景。
learningcircuit/local-deep-research
本地化深度研究助手，支持所有本地及云端 LLM，10+ 搜索引擎，数据全本地加密。在 RTX 3090 上实现 ~95% SimpleQA 准确率。
datawhalechina/all-in-rag
RAG 技术全栈指南，涵盖从理论到实践的完整学习路径，包括数据处理、索引构建、检索技术与项目实战，支持多模态检索。
ztjhz/betterchatgpt
为 OpenAI ChatGPT 提供的跨平台（网站 + Windows + MacOS + Linux）强大 UI。免费、无限制，支持代理、提示库、文件夹管理、自定义参数、多语言等。可本地部署或使用 Vercel/GitHub Pages 托管。
lastmile-ai/mcp-agent
基于 Model Context Protocol 构建高效智能体的 Python 框架。提供可组合的工作流模式，如 map-reduce、orchestrator 等，支持 Temporal 持久化，实现简单、稳健的智能体应用开发。
boundaryml/baml
BAML 是一个用于构建可靠 AI 工作流和代理的简单提示语言。它将提示工程转变为模式工程，支持 Python、TS、Ruby、Java、C#、Rust、Go 等多种语言。提供完整的类型安全、流式处理和重试机制，即使模型不支持原生工具调用 API 也能可靠工作。
nebuly-ai/optimate
一个 AI 模型性能优化库集合，包含 Speedster、Nos 和 ChatLLaMA 等工具，旨在降低推理、基础设施和数据成本。项目已进入维护阶段，不再积极更新。
bitsandbytes-foundation/bitsandbytes
通过 k-bit 量化技术，为 PyTorch 提供可访问的大语言模型。包含 8-bit 优化器、LLM.int8() 推理和 QLoRA 4-bit 训练，显著降低内存消耗，同时保持 32-bit 性能。
walkinglabs/learn-harness-engineering
基于项目的 AI 编码代理工程课程，涵盖环境构建、状态管理、验证与控制机制，提供 12 讲、6 个项目及多语言支持。
idosal/git-mcp
免费开源的远程 MCP 服务器，将任何 GitHub 项目转化为文档中心，为 AI 工具提供最新代码与文档，消除代码幻觉。
woooodyy/llm-agent-paper-list
整理了基于大语言模型智能体的必读论文列表，涵盖单智能体、多智能体及人机协作场景，并提供 AgentGym 等开发框架与 RL 训练工具。
google/adk-go
开源、代码优先的 Go 工具包，用于构建、评估和部署复杂 AI 智能体。具备模块化、多智能体系统、云原生部署能力，支持灵活控制与高并发。
qualcomm/nexa-sdk
高性能本地推理框架，支持NPU/GPU/CPU，覆盖PC、移动端及Linux/IoT，提供Day-0前沿模型支持，如Qwen3-VL、Gemma-3n等。
leptonai/search_with_lepton
使用少于 500 行代码构建对话式搜索引擎。内置 LLM 和搜索引擎支持，提供可自定义的精美 UI 界面，支持可共享和缓存的搜索结果。支持 Bing、Google 等多种搜索引擎。
nvidia/garak
LLM 漏洞扫描工具，用于检测生成式 AI 的幻觉、数据泄露、提示注入、误导信息、毒性生成及越狱等弱点。支持多种 LLM 接口，如 Hugging Face、OpenAI、AWS Bedrock 等。
zilliztech/gptcache
为 LLM 查询构建语义缓存，降低 10 倍成本并提升 100 倍速度。完全集成 LangChain 和 llama_index，支持 Python。
n4ze3m/page-assist
开源浏览器扩展，为本地 AI 模型提供侧边栏和 Web UI，支持与任何网页内容交互。兼容 Chrome、Firefox、Edge 等浏览器，可通过 Ollama 或 OpenAI API 兼容端点使用。
shaxiu/xianyuautoagent
专为闲鱼平台打造的 AI 客服机器人系统，实现 7×24 小时自动化值守。支持多专家协同决策、智能议价和上下文感知对话，核心基于 Python 与 LLM 技术。