跳转到内容

GPT4All API 服务器

GPT4All提供了一个本地API服务器，允许您通过HTTP API运行LLM。

主要功能

  • 本地执行: 在您自己的硬件上运行模型，以确保隐私和离线使用。
  • LocalDocs集成: 使用从LocalDocs集合提供给您的LLM的相关文本片段来运行APILocalDocs collection.
  • OpenAI API兼容性: 使用现有的OpenAI兼容客户端和工具与您的本地模型。

激活API服务器

  1. 打开GPT4All聊天桌面应用程序。
  2. 前往Settings > Application并向下滚动到Advanced.
  3. 勾选"Enable Local API Server"设置中选择另一个端口号。
  4. 服务器默认监听端口4891。您可以在"API Server Port"设置中选择另一个端口号。

连接到API服务器

API服务器使用的基URL是http://localhost:4891/v1(或者http://localhost:<PORT_NUM>/v1如果您使用不同的端口号)。

服务器仅接受HTTP连接（不接受HTTPS），并且仅在本地主机（127.0.0.1）上监听（例如，不包括IPv6本地主机地址::1.）。

示例

示例GPT4All API调用

curl -X POST http://localhost:4891/v1/chat/completions -d '{
"model": "Phi-3 Mini Instruct",
"messages": [{"role":"user","content":"Who is Lionel Messi?"}],
"max_tokens": 50,
"temperature": 0.28
}'

Invoke-WebRequest -URI http://localhost:4891/v1/chat/completions -Method POST -ContentType application/json -Body '{
"model": "Phi-3 Mini Instruct",
"messages": [{"role":"user","content":"Who is Lionel Messi?"}],
"max_tokens": 50,
"temperature": 0.28
}'

API端点

方法 路径 描述
GET /v1/models 列出可用模型
GET /v1/models/<name> 获取特定模型的详细信息
POST /v1/completions 生成文本补全
POST /v1/chat/completions 生成聊天补全

LocalDocs集成

您可以使用LocalDocs与API服务器：

  1. 在GPT4All应用程序中打开聊天视图。
  2. 向下滚动到聊天历史侧边栏的底部。
  3. 选择服务器聊天（它具有不同的背景颜色）。
  4. 在右侧边栏中激活LocalDocs集合。

(注意：LocalDocs目前只能通过GPT4All UI激活，不能通过API本身激活)。

现在，您对本地LLM的API调用将检索并放置来自您的LocalDocs集合的相关引用，作为LLM响应的输入消息。

您的API调用检索的引用可以在API响应对象中的

response["choices"][0]["references"]

访问。referencesare:

  • text: 从引用文档中提取的实际文本内容

  • author: 引用文档的作者（如果可用）

  • date: 引用文档的创建日期（如果可用）

  • page: 提取片段的页码（目前仅适用于PDF文档）

  • title: 引用文档的标题（如果可用）