大语言模型资源
探索与 大语言模型 相关的精选开源项目、速读教程和最新工作机会
相关开源项目
nvidia/tensorrt-llm
提供易用的 Python API 定义大语言模型，支持前沿优化以在 NVIDIA GPU 上高效推理。包含 Python 和 C++ 运行时组件，实现高性能推理编排。
cocktailpeanut/dalai
在本地计算机上轻松运行 LLaMA 和 Alpaca 模型。支持 Linux、Mac 和 Windows，内存要求低，提供 Web UI 和 JavaScript API。基于 llama.cpp 和 alpaca.cpp，包含可定制的 Web 应用。
modelscope/ms-swift
支持600+文本大模型与300+多模态大模型的微调与部署框架，集成PEFT/全参训练、DPO/GRPO等对齐算法，提供从训练到推理、评估、量化的全栈能力。
paddlepaddle/paddlenlp
基于飞桨的易用强大LLM/SLM开发套件，支持高效训练、无损压缩与高性能推理。提供丰富模型库，涵盖Qwen3、DeepSeek-R1等热门模型，支持FP8/INT8量化及投机解码，单机推理速度超1000 tokens/s。
wdndev/llm_interview_note
整理大语言模型（LLMs）算法工程师相关知识及面试题，涵盖基础、架构、训练、微调等。提供多个动手实践项目，如 tiny-llm-zh、tiny-rag 等，帮助快速掌握大模型技术。
vibrantlabsai/ragas
为 LLM 应用提供客观指标、智能测试生成和数据驱动洞察的评估工具包。支持 LangChain 等框架集成，通过预构建指标和自定义评估，提升应用性能。
shishirpatil/gorilla
训练和评估大语言模型的函数调用（工具调用）能力。提供 Berkeley 函数调用排行榜，支持多轮、多步骤复杂任务评估，并集成 GoEx 运行时以实现 LLM 生成动作的安全执行与验证。
anionex/banana-slides
基于 nano banana pro🍌 的原生 AI PPT 生成应用，支持上传任意模板与素材，通过一句话/大纲/页面描述自动生成 PPT，并能通过口头指令进行局部修改，一键导出可编辑的 PPTX/PDF，实现真正的“Vibe PPT”。
eugeneyan/open-llms
整理可商业使用的开源大语言模型列表，涵盖 T5、Bloom、ChatGLM 等，提供模型参数、许可证及使用链接。
zai-org/cogvideo
文本和图像到视频生成框架，支持 CogVideoX (2024) 和 CogVideo (ICLR 2023)。提供在线体验、微调工具和多平台 API，优化推理性能，支持单卡微调。
memorilabs/memori
SQL 原生记忆层，为 LLM、AI 智能体及多智能体系统提供持久化记忆。Python 实现，LLM、数据存储与框架无关，无缝集成现有架构。支持向量化记忆与语义搜索，自动模式迁移。
neuml/txtai
一站式 AI 框架，支持语义搜索、LLM 编排和语言模型工作流。核心是嵌入数据库，融合向量索引、图网络和关系型数据库。提供向量搜索、多模态索引、RAG、智能体和 Web API，支持本地或云端部署。
alexsjones/llmfit
终端工具，根据系统 RAM、CPU 和 GPU 自动匹配最佳 LLM 模型。支持 497 个模型和 133 个提供商，提供交互式 TUI 和 CLI 模式。可检测硬件，评估模型质量、速度和内存占用，支持多 GPU、MoE 架构和动态量化。
bentoml/openllm
将任何开源 LLM（如 DeepSeek、Llama）作为 OpenAI 兼容的 API 端点在云端运行。支持一键部署到 Docker、Kubernetes 和 BentoCloud。
the-pocket/pocketflow-tutorial-codebase-knowledge
将代码库转化为易懂教程的 AI 工具。基于 100 行 LLM 框架，分析 GitHub 仓库，识别核心抽象与交互，为初学者生成带可视化教程。支持众多流行项目，如 FastAPI、LangGraph 等。
rucaibox/llmsurvey
大型语言模型（LLM）的官方论文与资源集合，涵盖技术演进、趋势分析与提示设计。提供中文版书籍与长链思维推理内容，支持社区贡献与更新。
geeeekexplorer/nano-vllm
轻量级 vLLM 实现，从零构建。提供快速离线推理、可读代码库及优化套件，如前缀缓存、张量并行、Torch 编译和 CUDA 图。性能媲美 vLLM，代码约 1200 行 Python。
h2oai/h2ogpt
私有化部署的本地 GPT，支持文档、图像、视频等多模态查询与总结。100% 隐私，Apache 2.0 开源。集成 oLLaMa、Mixtral、llama.cpp 等多种模型，提供 Gradio UI 与 CLI，支持 Linux、macOS、Windows 及 Docker。
greydgl/pentestgpt
基于大语言模型的自动化渗透测试智能体框架，支持自主执行、会话持久化与 Docker 环境。提供实时反馈与多类别漏洞检测，已发表于 USENIX Security 2024。
doocs/md
一款高度简洁的微信 Markdown 编辑器，支持语法高亮、自定义主题、多图床及 AI 助手，可将 Markdown 即时渲染为微信图文。
ther1d/shell_gpt
基于 AI 大语言模型的命令行生产力工具，可生成 shell 命令、代码片段和文档，支持 Linux、macOS、Windows 及主流 Shell。使用 OpenAI API 或本地模型（如 Ollama）。
langgptai/langgpt
LangGPT 是一个结构化、可复用的提示词设计框架，旨在让每个人都能成为提示词专家。它提供系统化的模板和模块化设计，支持变量、命令和条件逻辑，大幅提升创作效率。该框架拥有超过 10,000 个 GitHub 星标，并已发布学术论文。
rightnow-ai/openfang
开源 Agent 操作系统，基于 Rust 构建。单二进制文件，14 个 crate，1767+ 测试，零警告。自主代理 24/7 运行，支持 Clip、Lead 等预置 Hands，无需提示即可执行任务。
chainlit/chainlit
⚡️ 在几分钟内构建 Python 生产就绪的对话式 AI 应用。支持工具调用、多步骤交互，并与 OpenAI、LangChain 等流行框架集成。
ludwig-ai/ludwig
低代码框架，用于构建自定义 LLM、神经网络等 AI 模型。支持声明式 YAML 配置，具备分布式训练、参数高效微调、4 位量化等优化，可扩展至生产环境。
tadata-org/fastapi_mcp
将 FastAPI 端点作为 MCP 工具暴露，内置认证。原生 FastAPI 零配置，保留请求/响应模型与文档，支持 ASGI 传输与灵活部署。
steven2358/awesome-generative-ai
精选现代生成式 AI 项目与服务列表，涵盖文本、图像、视频、音频等多模态领域，提供模型、工具及学习资源，追踪行业里程碑与前沿动态。
microsoft/rd-agent
自动化高价值研发流程，以数据和模型为核心，通过 AI 驱动数据驱动的 AI。支持 LiteLLM 后端，提供数据科学与 Kaggle 场景代理，在 MLE-bench 上表现领先。
embraceagi/awesome-chatgpt-zh
ChatGPT 中文指南🔥，提供中文调教指南、指令、应用开发、精选资源及生产力工具，助力用户高效使用 ChatGPT。
0xk1h0/chatgpt_dan
提供绕过 ChatGPT 安全限制的 DAN 提示词，适用于 GPT-3.5 和 GPT-4 模型。包含多种越狱技巧，旨在解锁 AI 的全部潜力。