· ai
[Paper] 异构低带宽预训练 LLMs
预训练大型语言模型（LLMs）日益需要分布式计算，但带宽限制使得在资源充足的情况下进行扩展变得困难。
-
- · ai
[Paper] DARC：鼓伴奏生成与细粒度节奏控制
在音乐创作中，快速原型对于探索和完善想法至关重要，但现有的生成工具在用户需要同时具备结构……时往往力不从心。
- · ai
[Paper] Meta-Learning 引导的 Pruning 用于 Edge Devices 上的 Few-Shot 植物病理
偏远地区的农民需要快速可靠的植物病害识别方法，但他们往往缺乏实验室或高性能计算的渠道。
- · ai
[Paper] Falcon-H1R：通过混合模型推动推理前沿，实现高效的测试时扩展
本工作介绍了 Falcon-H1R，这是一款 7B 参数的推理优化模型，证明了在 s... 实现竞争性推理性能的可行性。
- · ai
[Paper] 用 Machine Learning 捕捉‘Oddballs’：使用 Deep-Learned 低维表示的 Transit Spectra 与 Autoencoders 检测异常系外行星
本研究探讨基于 autoencoder 的机器学习技术在异常检测中的应用，以识别具有非传统特征的系外行星大气……
- · ai
[Paper] 环境自适应协变量选择：学习何时使用虚假相关进行分布外预测
Out-of-distribution (OOD) 预测通常通过限制模型仅使用因果或不变协变量来实现，以避免非因果的虚假关联……
- · ai
[Paper] DatBench：判别式、可信且高效的 VLM 评估
经验评估是指导基础模型研究进展的主要指南。尽管已有大量工作专注于训练前沿视觉……
- · ai
[Paper] 项目 Ariadne：用于审计 LLM 代理忠实性的结构因果框架
随着大型语言模型（LLM）代理越来越多地承担高风险的自主决策任务，它们推理过程的透明度已经成为…
- · ai
[Paper] 编码游戏：在理性对手存在下的编码理论，受去中心化机器学习的启发
编码理论在实现可靠的通信、存储和计算方面发挥着关键作用。传统方法假设最坏情况的对抗模型，并……
- · ai
[Paper] 分布式深度学习的放置语义：用于分析并行策略的系统化框架
训练 large language models 需要在众多 accelerators 上分布计算，但实践者会选择并行策略（data parallelism、tensor parallelism、pipeline parallelism……）。
- · ai
[Paper] 时序 Kolmogorov‑Arnold 网络 (T‑KAN) 用于高频限价订单簿预测：效率、可解释性与 Alpha 衰减
高频交易（HFT）环境的特征是大量的限价订单簿（LOB）数据，这些数据众所周知地噪声大且非线性。Alpha de...
- · ai
[Paper] 使用非参数变分信息瓶颈的文本 Transformer 嵌入的差分隐私
我们提出了一种隐私保护的方法，通过共享其 transformer embeddings 的噪声版本来共享文本数据。已有研究表明，隐藏表示...