设置
应用程序设置
常规应用程序设置
设置 | 描述 | 默认值 |
---|---|---|
主题 | 应用程序的配色方案。选项是Light , Dark ,和LegacyDark |
Light |
字体大小 | 应用程序中整个文本的字体大小设置。选项是小型、中型和大型 | 小型 |
语言和区域设置 | 您希望使用的语言和该语言的区域设置 | 系统区域设置 |
设备 | 将运行您的模型的设备。选项是Auto (GPT4All选择),Metal (Apple Silicon M1+),CPU ,和GPU |
Auto |
默认模型 | 选择您希望在启动时默认加载的LLM | 自动 |
建议模式 | 在响应末尾生成建议的后续问题 | 与LocalDocs聊天时 |
下载路径 | 选择您设备上的一个目标位置来保存下载的模型 | Windows:C:\Users\{username}\AppData\Local\nomic.ai\GPT4All Mac: /Users/{username}/Library/Application Support/nomic.ai/GPT4All/ Linux: /home/{username}/.local/share/nomic.ai/GPT4All |
启用数据湖 | 选择与GPT4All社区共享交互 (匿名和可选) | 关闭 |
高级应用程序设置
设置 | 描述 | 默认值 |
---|---|---|
CPU线程 | 并发运行的CPU线程数(更多可以加快响应速度) | 4 |
启用系统托盘 | 当窗口关闭时,应用程序将最小化到系统托盘/任务栏 | 关闭 |
启用本地服务器 | 允许您设备上的任何应用程序通过兼容OpenAI的GPT4All API使用GPT4All | 关闭 |
API服务器端口 | 本地API服务器的本地HTTP端口 | 4891 |
模型设置
模型/角色设置
设置 | 描述 | 默认值 |
---|---|---|
名称 | 此模型/角色的唯一名称 | 由模型上传者设置 |
模型文件 | 模型的文件名(.gguf) | 由模型上传者设置 |
系统消息 | 将用于此模型将用于的聊天的通用指令 | 由模型上传者设置 |
聊天模板 | 用户 <-> 助手交互的格式,用于此模型将用于的聊天 | 由模型上传者设置 |
聊天名称提示 | 用于自动生成聊天名称的提示 | 用不超过七个字描述上述对话。 |
建议的后续提示 | 用于在聊天响应后自动生成后续问题的提示 | 基于先前对话和摘录,建议三个非常简短的事实性后续问题,这些问题尚未回答或无法找到灵感。 |
克隆
您可以克隆一个现有的模型,这允许您保存一个带有不同提示模板和采样设置的模型文件配置。
采样设置
模型采样设置
设置 | 描述 | 默认值 |
---|---|---|
上下文长度 | 输入序列在标记中的最大长度 | 2048 |
最大长度 | 响应在标记中的最大长度 | 4096 |
提示批量大小 | 用于并行处理的标记批量大小 | 128 |
温度 | 较低的温度会产生更可能的生成 | 0.7 |
Top P | 防止选择非常不可能的标记 | 0.4 |
Top K | 标记选择池的大小 | 40 |
Min P | 最小相对概率 | 0 |
重复惩罚标记 | 应用惩罚的长度 | 64 |
重复惩罚 | 惩罚重复性 | 1.18 |
GPU层 | 要加载到VRAM的模型层数 | 32 |
本地文档设置
常规本地文档设置
设置 | 描述 | 默认值 |
---|---|---|
允许的文件扩展名 | 选择哪些文件类型将被索引到LocalDocs集合中作为带有嵌入向量的文本片段 | .txt , .pdf , .md , .rst |
使用Nomic嵌入API | 使用Nomic API快速创建LocalDocs集合,并在设备外;Nomic API密钥必需的 | 关闭 |
嵌入设备 | 将运行嵌入模型的设备。选项是Auto (GPT4All选择),Metal (Apple Silicon M1+),CPU ,和GPU |
Auto |
显示来源 | LocalDocs检索的源文件标题将直接显示在您的聊天中。 | 开 |
高级本地文档设置
请注意,增加这些设置可能会增加事实性响应的可能性,但可能会导致生成时间变慢。
设置 | 描述 | 默认值 |
---|---|---|
文档片段大小 | 每个文档片段的字符串字符数 | 512 |
每个提示的最大文档片段数 | LocalDocs可以从您的文件中检索用于LLM上下文的最大片段数 | 3 |