探索 大语言模型 项目
筛选并发现收录的、配有高质量中文文档或教程的 GitHub 项目。
统一框架，支持 300+ 模型与 RAG 管道，优化本地、私有、安全的企业级应用。支持 GGUF、OpenVINO 等多种推理技术，提供模型目录与知识库管理，可在 AI PC 和边缘设备运行。
开源 MCP 数据库服务器，简化 Gen AI 工具开发。提供连接池、认证等最佳实践，支持端到端可观测性。可将 AI 助手连接至 IDE，实现自然语言查询、自动化管理与上下文感知代码生成。
Llama中文社区，实时汇总最新Llama学习资料，构建最好的中文Llama大模型开源生态，完全开源可商用。提供模型、算力、数据、论坛等资源，支持Llama2、Llama3、Llama4全系列，涵盖预训练、微调、量化、部署等全流程。
开源 ETL 解决方案，将复杂文档转换为语言模型所需的干净结构化数据。支持生产级工作流、分区、丰富、分块和嵌入。
收集来自主流 LLM 服务的泄露系统提示，提供可验证来源或可复现提示，支持 PR 提交与 Issues 链接，避免包含敏感商业代码。
基于 nano banana pro🍌 的原生 AI PPT 生成应用，支持上传任意模板与素材，通过一句话/大纲/页面描述自动生成 PPT，并能通过口头指令进行局部修改，一键导出可编辑的 PPTX/PDF，实现真正的“Vibe PPT”。
专为 LLM 微调、RAG 和评估构建数据集的强大工具。支持 PDF、DOCX 等多种格式文档的智能解析与分割，自动生成高质量 QA 数据集。内置评估系统，支持自动化模型评测与人工盲测，助力垂直领域模型优化。
整理大语言模型（LLMs）算法工程师相关知识及面试题，涵盖基础、架构、训练、微调等。提供多个动手实践项目，如 tiny-llm-zh、tiny-rag 等，帮助快速掌握大模型技术。
支持600+文本大模型与300+多模态大模型的微调与部署框架，集成PEFT/全参训练、DPO/GRPO等对齐算法，提供从训练到推理、评估、量化的全栈能力。
为 LLM 提供结构化输出，确保生成时即符合指定类型。支持任意模型，集成简单，无需后处理解析。核心功能包括类型安全输出、复杂结构定义及多模型兼容。
为 LLM 应用提供客观指标、智能测试生成和数据驱动洞察的评估工具包。支持 LangChain 等框架集成，通过预构建指标和自定义评估，提升应用性能。
SQL 原生记忆层，为 LLM、AI 智能体及多智能体系统提供持久化记忆。Python 实现，LLM、数据存储与框架无关，无缝集成现有架构。支持向量化记忆与语义搜索，自动模式迁移。
提供易用的 Python API 定义大语言模型，支持前沿优化以在 NVIDIA GPU 上高效推理。包含 Python 和 C++ 运行时组件，实现高性能推理编排。
开源身份与访问管理 / 单点登录平台，以 Web UI 为核心，支持 OAuth 2.0、OIDC、SAML、CAS、LDAP、SCIM、WebAuthn、TOTP、MFA、Face ID、RADIUS、Google Workspace、Active Directory 和 Kerberos 等协议。
提供 20+ 高性能大语言模型，支持从零实现、预训练、微调与大规模部署。无抽象层，代码精简，支持 Flash Attention、FSDP、LoRA 等技术，适配多 GPU/TPU 环境。
轻量级 vLLM 实现，从零构建。提供快速离线推理、可读代码库及优化套件，如前缀缓存、张量并行、Torch 编译和 CUDA 图。性能媲美 vLLM，代码约 1200 行 Python。
开源 AI 协作者，具备记忆功能。连接邮件和会议笔记，构建知识图谱，辅助完成工作。支持本地运行，数据私有。可生成 PDF、会议简报等。支持语音备忘录。
在本地计算机上轻松运行 LLaMA 和 Alpaca 模型。支持 Linux、Mac 和 Windows，内存要求低，提供 Web UI 和 JavaScript API。基于 llama.cpp 和 alpaca.cpp，包含可定制的 Web 应用。
基于飞桨的易用强大LLM/SLM开发套件，支持高效训练、无损压缩与高性能推理。提供丰富模型库，涵盖Qwen3、DeepSeek-R1等热门模型，支持FP8/INT8量化及投机解码，单机推理速度超1000 tokens/s。
训练和评估大语言模型的函数调用（工具调用）能力。提供 Berkeley 函数调用排行榜，支持多轮、多步骤复杂任务评估，并集成 GoEx 运行时以实现 LLM 生成动作的安全执行与验证。
基于大语言模型的自动化渗透测试智能体框架，支持自主执行、会话持久化与 Docker 环境。提供实时反馈与多类别漏洞检测，已发表于 USENIX Security 2024。
文本和图像到视频生成框架，支持 CogVideoX (2024) 和 CogVideo (ICLR 2023)。提供在线体验、微调工具和多平台 API，优化推理性能，支持单卡微调。
自动化高价值研发流程，以数据和模型为核心，通过 AI 驱动数据驱动的 AI。支持 LiteLLM 后端，提供数据科学与 Kaggle 场景代理，在 MLE-bench 上表现领先。
一站式 AI 框架，支持语义搜索、LLM 编排和语言模型工作流。核心是嵌入数据库，融合向量索引、图网络和关系型数据库。提供向量搜索、多模态索引、RAG、智能体和 Web API，支持本地或云端部署。
将任何开源 LLM（如 DeepSeek、Llama）作为 OpenAI 兼容的 API 端点在云端运行。支持一键部署到 Docker、Kubernetes 和 BentoCloud。
免费AI知识库，涵盖大模型指南、Vibe Coding零基础教程、Prompt大全、AI编程技巧、工具用法及变现指南，助你快速掌握AI技术。