[Paper] 大语言模型用于有限噪声数据：引力波识别研究

Source: arXiv - 2512.04031v1

概览

本文探讨在数据稀缺、噪声大且非高斯的常见天体物理情形下，大语言模型（LLM）是否能超越传统神经网络。仅使用 90 条真实 LIGO 引力波（GW）事件，作者对 LLM 进行微调，达到了 97.4 % 的准确率，在区分真实 GW 信号与噪声方面表现出色，表明 LLM 能直接从有限的观测数据中学习，而无需庞大的模拟训练集。

主要贡献

• 以 LLM 为中心的管线，用于在极小的真实数据集（90 条事件）上进行 GW 信号识别。
• 实证展示：增加更多模拟 GW 样本并不能提升 LLM 性能，这与传统卷积或循环网络不同。
• 规模分析：展示了模型规模和真实数据量增加时，准确率的可预测提升。
• 跨领域洞见：相同方法可迁移到其他噪声天文领域（如射电瞬变、脉冲星计时）。
• 开源基线（代码与微调检查点）已发布，便于复现和快速采用。

方法论

1. 数据准备 – 作者收集了 90 条公开的 LIGO 事件（包括确认的 GW 信号和噪声触发）。每条事件以时频谱图形式呈现，随后被切分为兼容 Transformer 架构的视觉“patch” token 序列。
2. 模型选择 – 将若干预训练 LLM（如 GPT‑Neo、LLaMA‑7B）重新用于多模态编码。语言模型的权重基本保持不变，仅添加一个轻量级分类头。
3. 微调 – 使用标准交叉熵损失，在 90 条样本上训练数个 epoch，并采用数据增强（时间平移、轻微频率缩放）以缓解过拟合。
4. 基线对比 – 在相同的 90 条真实事件上以及在扩大的合成数据集（数千条模拟波形）上训练传统 CNN 和 RNN，以提供公平比较。
5. 规模实验 – 系统地改变模型规模（从 1 B 到 13 B 参数）和真实训练样本数量（30、60、90）以绘制性能趋势。

结果与发现

• 额外模拟数据对 LLM 无效：在 90 条真实样本后性能即达到平台期。
• 可预测的规模效应：在数据受限时，每翻倍模型参数可带来约 1–2 % 的准确率提升。
• 对噪声的鲁棒性：即使在测试谱图中加入非高斯、非平稳噪声，LLM 仍保持高精度。

实际意义

• 快速原型：研究者只需在少量真实观测上微调现成 LLM，即可得到可直接投入生产的分类器，显著降低对昂贵模拟流水线的依赖。
• 资源效率：LLM 不需要庞大的合成数据集，从而降低存储和计算预算，对小型天文台或公民科学项目尤为有利。
• 跨模态扩展：该 token 化策略适用于任何时频数据（如快速射电暴、脉冲星时序阵列），为多信使天文学构建统一的 LLM 管线打开了可能。
• 实时警报：在 LIGO‑VIRGO 数据中心部署预训练 LLM 的轻量分类头，可在数秒内标记候选事件，提升多信使后续观测的协同效率。

局限性与未来工作

• 模型规模与延迟：表现最佳的 13 B 参数模型仍存在不容忽视的推理延迟；需要通过剪枝或蒸馏来满足实时需求。
• 对未见源的泛化：本研究聚焦于双黑洞合并，对中子星或更奇特波形的性能尚未验证。
• 可解释性：虽然注意力图暗示了决定性谱图区域，但系统的可解释性分析仍缺失。
• 更广泛的验证：未来工作应在其他探测器（如 KAGRA、LISA）以及真正异构的数据集（射电、X 射线）上进行基准测试。

结论：本研究表明，经过在少量真实引力波观测上微调的大语言模型，即使在噪声最恶劣的环境中，也能超越传统神经网络，可能会重塑天文学家在全波段构建数据驱动探测器的方式。

作者

• Yixuan Li
• Yuhao Lu
• Yang Liu
• Liang Li
• R. Ruffini
• Di Li
• Rong-Gen Cai
• Xiaoyan Zhu
• Wenbin Lin
• Yu Wang

论文信息

• arXiv ID: 2512.04031v1
• 分类: astro-ph.IM, astro-ph.HE, cs.AI
• 发布日期: 2025 年 12 月 3 日
• PDF: Download PDF