Connector 修复、Core API 增强与 Ecosystem 更新:Apache SeaTunnel 的十一月进展
Source: Dev.to
概览
致所有 Apache SeaTunnel 爱好者——十一月社区报告已发布!
在十一月,Apache SeaTunnel 在连接器稳定性、核心功能、文档以及更广泛的生态系统方面实现了多项改进。社区解决了多个关键问题,强化了各类连接器,并引入了多项生产级能力,如 Pending Queue Query API、TIMESTAMP_TZ 支持以及 ViewFs 集成。文档持续完善,生态兼容性得到扩展,整体稳定性和可用性达到了新水平。社区活动依旧活跃,众多贡献者推动了项目的快速演进。
本月亮点
连接器增强
- 修复了多个连接器的关键问题
- 新增对 TIMESTAMP_TZ、HugeGraph Sink、ViewFs 等的支持
- 改进 JSON 多层嵌套解析并优化 MySQL 分片策略
核心功能升级
- 引入 Pending Queue Query API
- Overview 页面现在展示 PendingJobs 信息
- 对测试框架和基础镜像进行全面更新
文档与生态
- 扩展并改进了连接器文档及升级指南
- 更新了 MongoDB 与 Transform 的文档
- 新增生态内容,如 SeaTunnel MCP
社区活动
- 超过 15 位贡献者合并了代码变更
- 项目保持强劲的推进势头
本月合并之星
特别感谢以下贡献者上月的卓越工作(顺序不分先后):
@loupipalien, @chl-wxp, @dybyte, @zhan7236, @misi1987107, @wuxiansen, @LiJie20190102, @liunaijie, @corgy-w, @yzeng1618, @Adamyuanyuan, @zhangshenghang, @wgzhao, @xiaochen-zhou, @Gfreely
Pull Request 汇总
修复
- [Bug][Connector-V2][Email] 修复空值导致的 NPE,新增可配置的附件名称和分隔符 – @zhan7236
- [Fix][Connector-v2][Doris] 数组类型数据解析失败 – @zhangshenghang
- [Hotfix][CI] 修复 TestSQLIT – @dybyte
- [Fix][doc] 为 SqlServer‑CDC 文档补全缺失的闭合大括号 – @wgzhao
- [Fix][Connector-V2][Clickhouse] 在
ClickhouseSourceFactory中添加主键支持 – @zhangshenghang - [Bugfix][seatunnel-e2e] 增加超时时间 – @chl-wxp
- [Fix][Connector-v2][MongoDB‑CDC] 当启动多个任务连接不同 MongoDB 服务时,仅第一个生效 – @zhangshenghang
- [Fix][Connector-V2][Http] 修复
HttpSink.java中 HTTP 参数的设置 – @zhangshenghang - [Bugfix][seatunnel-connectors-v2][connector-elasticsearch] ElasticsearchSink 写入错误导致任务未退出 – @chl-wxp
- [Fix][Connector-v2][Clickhouse] 支持 ClickHouse 日志引擎 – @zhangshenghang
- [Fix][seatunnel-spark-starter] 修复 Spark 提交任务时的 … – @LiJie20190102
- [Fix][Transform] 修复 SQL Transform 中
TRIM(Expression)引发的ClassCastException– @corgy-w - [Fix][Connecotr][Hive] 修正
HiveJdbcConnectionProvider中密码参数的赋值 – @zhangshenghang - [Fix][e2e] 修复不稳定的 Redis 测试 – @dybyte
- [Fix][Core] 更新 JDK Docker 镜像版本 – @zhangshenghang
- [Fix][Connector-v2][Clickhouse] 使用实际表结构而非
DESC结果创建PhysicalColumn– @zhangshenghang - [Fix][Connector-v2][Clickhouse] 修复 SQL 批量读取策略中
filter_query不生效的问题 – @zhangshenghang - [Fix] 记录 HTTP 基础问题 #9755 – @wuxiansen
- [Fix][Connector-V2] 在 JDBC 语句关闭时忽略
JdbcConnectorException– @dybyte
改进
- [Improve][Connector-V2][WeChat] 将
StringBuffer优化为StringBuilder以提升性能 – @corgy-w - [Feature][Connector-V2] 支持 HDFS ViewFs Schema – @xiaochen-zhou
- [Improve][Docs] 为 SeaTunnel 连接器补充中文文档 – @yzeng1618
- [Improve][Flink] 为 NO_CDC source 添加 checkpoint 支持 – @yzeng1618
- [Feature][Core] 为查看 Pending 队列详情新增 REST API – @zhangshenghang
- [Improve][e2e] 将 Docker 镜像切换为
seatunnelhub仓库 – @zhangshenghang - [Improve][Docs] 为版本升级添加不兼容变更文档 – @dybyte
- [Improve][seatunnel-connectors-v2][connector-mongodb] 改进
MongodbWriter的关闭逻辑 – @chl-wxp - [Feature][Connector-V2] PostgreSQL 支持读取 TIMESTAMP_TZ – @yzeng1618
- [Improve][E2E] 将 JDK Docker 镜像更新为
seatunnelhub– @zhangshenghang - [Improve][Connector-V2][HBase] 支持可配置的范围扫描边界包含策略 – @zhangshenghang
- [Feature][Connector-V2] 为 Apache HugeGraph 提供 sink 连接器 – @Gfreely
- [Improve] 支持 JSON 多层嵌套解析 – @misi1987107
- [Feature][Connector-V2] 支持 Paimon 表读取的动态选项 – @xiaochen-zhou
- [Improve][Connector-v2][MySQL] 优化分片计算策略 – @zhangshenghang
- [Feature][Connector-V2][Milvus] Sink writer 按间隔刷新 – @loupipalien
- [Improve][E2E] 改进 Redis 删除哈希的测试 – @chl-wxp
- [Feature][Core] 在
GetOverviewOperation响应中加入 PendingJobs 信息 – @xiaochen-zhou - [Feature][Connector-V2] Hive sink 支持
SchemaSaveMode与DataSaveMode– @yzeng1618
其他
- [Add][Docs] 在网站上引入 SeaTunnel MCP 与 x2SeaTunnel 文档 – @Adamyuanyuan
- [Improve][Connector-v2][MySQL-CDC] Schema 演进优化等待时间 – (条目不完整)