GPT4All 文档

GPT4All 在日常台式机和笔记本电脑上私密运行大型语言模型 (LLMs)。

无需 API 调用或 GPU - 您只需下载应用程序并开始使用.

桌面应用程序

GPT4All 作为应用程序在您的计算机上运行 LLMs。Nomic 的嵌入模型可以将您的本地文档和文件中的信息带到您的聊天中。它快速、设备本地化，并且完全私密.

Python SDK

在 Python 中使用 GPT4All 以使用 LLM 编程，这些 LLM 是使用llama.cpp后端和Nomic 的 C 后端实现的。Nomic 贡献开源软件，如llama.cpp以使 LLM 对所有人可访问和高效。.

pip install gpt4all

from gpt4all import GPT4All
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf") # downloads / loads a 4.66GB LLM
with model.chat_session():
    print(model.generate("How can I run LLMs efficiently on my laptop?", max_tokens=1024))