Logtide 0.6.0：PII 脱敏、键盘快捷键与异常检测

Source: Dev.to

概览

如果你一直在等待符合 GDPR 要求的 PII 掩码或键盘驱动的导航功能，这次发布正是为你而来。0.6.0 版本带来了 企业级隐私控制（在数据摄入时即生效）、面向高级用户的完整键盘快捷键，以及 异常检测——它会在统计偏差出现时发出警报，而不是基于固定阈值。

如果你是新手：Logtide 是一个开源的 Datadog、Splunk 和 ELK 替代方案。它以隐私为先，可自行托管，并内置 SIEM 功能和 GDPR 合规性。基于 PostgreSQL + TimescaleDB 构建。

• 🌐 Cloud: (free tier available)
• 💻 GitHub: (330+ ⭐)
• 📦 Docker Hub: 3,500+ pulls

🔒 隐私问题

关于日志管理，有一点必须说明：你的日志中包含 PII。认证日志中的电子邮件地址、支付错误中的信用卡号码、无处不在的 IP 地址、调试时意外记录的 API 密钥。

大多数平台要么：

• 将所有数据全部存储，并希望你的安全团队永远不会提出质疑
• 将“企业级”PII 匿名化作为付费附加功能提供
• 要求你在发送前自行掩码数据（把负担转移到你的代码上）

Logtide 0.6.0 在摄取阶段即对 PII 进行掩码——在数据写入磁盘之前。设计上即符合 GDPR，而不是事后补救。

✨ 新功能

1. 数据摄取时的 PII 脱敏

禁用时几乎无成本（≈ 0.001 ms 缓存命中）。启用后可保护：

• 内置模式：电子邮件、信用卡、社会安全号、电话号码、IP 地址、API 密钥
• 智能字段扫描：自动脱敏 password、token、secret、authorization 字段
• 自定义正则规则：为组织级或项目级需求定义专属模式

三种脱敏策略

设置界面：/dashboard/settings/pii-masking（实时测试面板）。内置规则默认关闭（需自行开启）。自定义规则使用 safe-regex2 进行校验，以防止 ReDoS 攻击。

性能 – 热路径优化消除了每 1 000 条日志批次约 6 000 次对象分配。对简单字符串提前退出、复用编译后的正则、以及 5 分钟 TTL 的内存规则缓存。

2. 为高级用户准备的键盘快捷键

类似 GitHub 的导航，无需动鼠标：

• 命令面板 – Ctrl/Cmd+K：模糊搜索页面和操作
• 帮助模态框 – ?：完整快捷键参考，支持平台特定键位
• 序列导航（双键组合）

• 搜索导航
  • / – 聚焦搜索输入框
  • J/K – 在日志列表中上下移动并高亮显示
  • Enter – 展开/折叠选中日志
  • R – 刷新结果

输入感知抑制确保在 textarea 或搜索框中输入时不会触发快捷键。

3. 变化率告警（异常检测）

固定阈值太死板。流量模式每天都在变化。下午 2 点的“正常”在凌晨 2 点可能就不正常了。

基线驱动的告警 在日志量偏离历史模式时触发。

四种基线方法

1. same_time_yesterday
2. same_day_last_week
3. rolling_7d_avg (默认)
4. percentile_p95

内置防刷 – 持续检查（默认 5 分钟）、冷却期（60 分钟）、最小基线保护。

• 邮件主题 – [Anomaly] — 3x above baseline（相较于静态阈值的 [Alert]）
• Webhook 负载 – 包含 baseline_metadata 和 event_type: "anomaly"

智能默认值：3 倍偏差乘数、10 分钟基线窗口、5 分钟持续检查。

4. 主机安全检测包

15 条预构建规则，用于主机层面的安全监控，全部映射到 MITRE ATT&CK：

• 杀毒与恶意软件包 – ClamAV FOUND 模式、AV 扫描失败、WebShell 检测
• Rootkit 检测包 – rkhunter/chkrootkit 模式、隐藏进程、内核模块
• 文件完整性监控包 – /etc/passwd 变更、SSH 配置修改、Cron 篡改

所有规则使用 logsource.product: linux，并通过复合条件降低误报。

5. 管理员仪表盘改版

平台级可观测性的全新设计：

• 仪表盘首页 – 4 张健康卡、24 小时活动图、8 张统计卡、组织/项目排行
• 系统健康页 – DB/Redis 诊断、TimescaleDB 压缩统计、连续聚合陈旧度
• 慢查询监控 – 实时运行查询（pg_stat_activity）+ 历史最慢查询

6. 时间线事件标记

在日志时间线图上以可视化指示器展示告警或安全检测的发生时刻。红色圆点代表告警，紫色圆点代表检测。悬停提示框显示规则名称和日志计数。

7. 版本更新通知

管理员仪表盘横幅会检查 GitHub Release 以获取新版本。6 小时缓存、语义化版本比较、可配置的发布渠道（stable / beta）。

🐛 Notable Fixes

• Client errors returning 500 instead of 4xx – 18+ API 路由现在正确返回 400 Bad Request 并附带验证细节。
• 4xx errors logged as ERROR – 现在记录为 warn；5xx 仍记录为 error。
• Charts not resizing on sidebar toggle – 将 window.resize 替换为 ResizeObserver。
• Notification click navigating to wrong org – 现在在导航前会自动切换组织。
• Sigma API missing MITRE fields – 现在已包含 tags、mitreTactics、mitreTechniques。
• Email logo not rendering – 已将文件从 .svg 换成 .png 以兼容 Outlook/Gmail。

📦 升级

docker compose pull
docker compose up -d

(在包含 docker-compose.yml 的目录中运行上述命令，以拉取最新镜像并重启堆栈。)

e up -d

全屏控制

• 进入全屏模式
• 退出全屏模式

新迁移（启动时自动运行）

接下来是什么？

Version 0.7.x 计划围绕 合规性和高级关联：

• 日志访问审计日志 – #94
  元日志记录：谁在何时、为何访问了哪些日志（对合规至关重要）。

• 服务依赖图 – #40
  基于追踪数据可视化微服务通信模式。

• OpenTelemetry 指标摄取 – #4
  原生 OTLP 指标支持（完善可观测性三要素：日志、追踪、指标）。

注意： 0.6.0 的每个功能都来源于 GitHub 社区的反馈。欢迎继续提交 issue 和讨论！

试用 Logtide

• 云端:
• 自托管:
• 文档:

完整更新日志

v0.5.0 → v0.6.0