GPT4All监控

GPT4All与OpenLITOpenTelemetry自动代理，以对您的LLM应用程序和GPU硬件进行实时监控。

监控可以通过自动生成的跟踪和指标来增强您的GPT4All部署，

性能优化：分析延迟、成本和令牌使用情况，以确保您的LLM应用程序高效运行，快速识别和解决性能瓶颈。
用户交互洞察：捕获每个提示和响应，以更好地了解用户行为和使用模式，改善用户体验和参与度。
详细GPU指标：监控关键的GPU参数，如利用率、内存消耗、温度和功耗，以保持最佳硬件性能并避免潜在问题。

设置监控

通过OpenLIT，您可以自动监控您的LLM部署的跟踪和指标：

pip install openlit

from gpt4all import GPT4All
import openlit

openlit.init()  # start
# openlit.init(collect_gpu_stats=True)  # Optional: To configure GPU monitoring

model = GPT4All(model_name='orca-mini-3b-gguf2-q4_0.gguf')

# Start a chat session and send queries
with model.chat_session():
    response1 = model.generate(prompt='hello', temp=0)
    response2 = model.generate(prompt='write me a short poem', temp=0)
    response3 = model.generate(prompt='thank you', temp=0)

    print(model.current_chat_session)

可视化

OpenLIT UI

连接到OpenLIT的UI，开始探索收集的LLM性能指标和跟踪。访问OpenLIT快速入门指南获取分步详细信息。

Grafana、DataDog及其他集成

您还可以将OpenLIT收集的数据发送到流行的监控工具，如Grafana和DataDog。有关设置这些连接的详细说明，请参阅OpenLIT连接指南。.