我构建了一个自托管的 LLM 可观测性工具用于 AI 应用（Logmera）

Source: Dev.to

问题：AI 应用的可视性缺失

在构建 AI 应用时，你会很快失去对系统运行情况的可视性。常见的问题包括：

• 向模型发送了哪些提示（prompt）？
• 收到了什么响应？
• 请求耗时多久？
• 哪个模型处理了请求？
• 为什么请求会失败？

开发者通常会先把日志打印到控制台，但在生产环境中这会变得凌乱且难以管理。

介绍 Logmera

Logmera 是一款 自托管的 AI/LLM 可观测性工具。它不再把日志打印到控制台，而是将以下信息存入 PostgreSQL 数据库，并在简洁的网页仪表盘中展示：

• 提示（prompts）
• 响应（responses）
• 模型名称
• 延迟（latency）
• 请求状态

为什么选择自托管？

许多 LLM 可观测性工具会把数据发送到外部云服务，这可能引发以下顾虑：

• 隐私
• 合规性
• 数据所有权

Logmera 完全运行在你的自有基础设施上，所有日志都保存在你的 PostgreSQL 数据库中。

架构

Your AI Application
        │
        ▼
Logmera Python SDK
        │
        ▼
Logmera Server (FastAPI)
        │
        ▼
PostgreSQL Database
        │
        ▼
Dashboard

快速开始（≈2 分钟）

安装 SDK

pip install logmera

启动服务器

Logmera 需要一个 PostgreSQL 数据库。使用连接 URL 启动服务器：

logmera --db-url "postgresql://username:password@localhost:5432/database"

服务器将在以下地址提供服务：

从 Python 记录请求

import logmera

logmera.log(
    project_id="chatbot",
    prompt="Hello",
    response="Hi there",
    model="gpt-4o",
    latency_ms=120,
    status="success"
)

执行代码后，请求会出现在仪表盘中。

仪表盘功能

• 浏览日志
• 搜索提示
• 按项目或模型过滤
• 跟踪延迟
• 查看完整响应

这些功能让调试 AI 系统变得更加轻松。

REST API

可以通过公开的 REST 接口从任何语言发送日志。

curl -X POST http://127.0.0.1:8000/logs \
  -H "Content-Type: application/json" \
  -d '{
        "project_id":"demo",
        "prompt":"Hello",
        "response":"Hi",
        "model":"gpt-4o",
        "latency_ms":95,
        "status":"success"
      }'

典型使用场景

• AI SaaS 应用
• 聊天机器人
• 检索增强生成（RAG）系统
• AI 代理
• 基于 LLM 的自动化工具

Logmera 为你的 AI 系统提供简单、实时的可视化。

资源

• PyPI:
• GitHub:

如果你正在构建 AI 应用，欢迎尝试 Logmera 并分享你的反馈。