跳转到内容

设置

应用程序设置

常规应用程序设置

设置 描述 默认值
主题 应用程序的配色方案。选项是Light, Dark,和LegacyDark Light
字体大小 应用程序中整个文本的字体大小设置。选项是小型、中型和大型 小型
语言和区域设置 您希望使用的语言和该语言的区域设置 系统区域设置
设备 将运行您的模型的设备。选项是Auto(GPT4All选择),Metal(Apple Silicon M1+),CPU,和GPU Auto
默认模型 选择您希望在启动时默认加载的LLM 自动
建议模式 在响应末尾生成建议的后续问题 与LocalDocs聊天时
下载路径 选择您设备上的一个目标位置来保存下载的模型 Windows:C:\Users\{username}\AppData\Local\nomic.ai\GPT4All

Mac:/Users/{username}/Library/Application Support/nomic.ai/GPT4All/

Linux:/home/{username}/.local/share/nomic.ai/GPT4All
启用数据湖 选择与GPT4All社区共享交互 (匿名可选) 关闭

高级应用程序设置

设置 描述 默认值
CPU线程 并发运行的CPU线程数(更多可以加快响应速度) 4
启用系统托盘 当窗口关闭时,应用程序将最小化到系统托盘/任务栏 关闭
启用本地服务器 允许您设备上的任何应用程序通过兼容OpenAI的GPT4All API使用GPT4All 关闭
API服务器端口 本地API服务器的本地HTTP端口 4891

模型设置

模型/角色设置

设置 描述 默认值
名称 此模型/角色的唯一名称 由模型上传者设置
模型文件 模型的文件名(.gguf) 由模型上传者设置
系统消息 将用于此模型将用于的聊天的通用指令 由模型上传者设置
聊天模板 用户 <-> 助手交互的格式,用于此模型将用于的聊天 由模型上传者设置
聊天名称提示 用于自动生成聊天名称的提示 用不超过七个字描述上述对话。
建议的后续提示 用于在聊天响应后自动生成后续问题的提示 基于先前对话和摘录,建议三个非常简短的事实性后续问题,这些问题尚未回答或无法找到灵感。

克隆

您可以克隆一个现有的模型,这允许您保存一个带有不同提示模板和采样设置的模型文件配置。

采样设置

模型采样设置

设置 描述 默认值
上下文长度 输入序列在标记中的最大长度 2048
最大长度 响应在标记中的最大长度 4096
提示批量大小 用于并行处理的标记批量大小 128
温度 较低的温度会产生更可能的生成 0.7
Top P 防止选择非常不可能的标记 0.4
Top K 标记选择池的大小 40
Min P 最小相对概率 0
重复惩罚标记 应用惩罚的长度 64
重复惩罚 惩罚重复性 1.18
GPU层 要加载到VRAM的模型层数 32

本地文档设置

常规本地文档设置

设置 描述 默认值
允许的文件扩展名 选择哪些文件类型将被索引到LocalDocs集合中作为带有嵌入向量的文本片段 .txt, .pdf, .md, .rst
使用Nomic嵌入API 使用Nomic API快速创建LocalDocs集合,并在设备外;Nomic API密钥必需的 关闭
嵌入设备 将运行嵌入模型的设备。选项是Auto(GPT4All选择),Metal(Apple Silicon M1+),CPU,和GPU Auto
显示来源 LocalDocs检索的源文件标题将直接显示在您的聊天中。

高级本地文档设置

请注意,增加这些设置可能会增加事实性响应的可能性,但可能会导致生成时间变慢。

设置 描述 默认值
文档片段大小 每个文档片段的字符串字符数 512
每个提示的最大文档片段数 LocalDocs可以从您的文件中检索用于LLM上下文的最大片段数 3