커넥터 수정, Core API 향상 및 에코시스템 업데이트: Apache SeaTunnel의 11월 진행 상황
Source: Dev.to
Overview
Apache SeaTunnel 애호가 여러분께—11월 커뮤니티 보고서가 찾아왔습니다!
11월에 Apache SeaTunnel은 커넥터 안정성, 핵심 기능, 문서, 그리고 광범위한 생태계 전반에 걸쳐 개선을 제공했습니다. 커뮤니티는 여러 중요한 이슈를 해결하고, 다양한 커넥터를 강화했으며, Pending Queue Query API, TIMESTAMP_TZ 지원, ViewFs 통합 등 여러 프로덕션 등급 기능을 도입했습니다. 문서도 지속적으로 다듬어졌으며, 생태계 호환성이 확대되고 전반적인 안정성과 사용성이 새로운 수준에 도달했습니다. 커뮤니티 활동도 활발히 이어졌으며, 다수의 기여자가 프로젝트의 빠른 진화를 이끌었습니다.
Monthly Highlights
Connector Enhancements
- 여러 커넥터에 걸친 주요 이슈 해결
- TIMESTAMP_TZ, HugeGraph Sink, ViewFs 등 지원 추가
- JSON 중첩 파싱 개선 및 MySQL 샤딩 전략 최적화
Core Feature Upgrades
- Pending Queue Query API 도입
- Overview에 PendingJobs 정보 표시
- 테스트 프레임워크와 베이스 이미지 전반에 걸친 종합 업데이트
Documentation & Ecosystem
- 커넥터 문서 및 업그레이드 가이드 확대·개선
- MongoDB와 Transform 문서 업데이트
- SeaTunnel MCP 등 새로운 생태계 콘텐츠 추가
Community Activity
- 15명 이상의 기여자가 변경 사항을 병합
- 프로젝트 전반에 걸쳐 강력한 모멘텀 지속
Monthly Merge Stars
지난 달 뛰어난 작업을 해주신 다음 기여자들에게 큰 감사를 전합니다(순서는 무작위):
@loupipalien, @chl-wxp, @dybyte, @zhan7236, @misi1987107, @wuxiansen, @LiJie20190102, @liunaijie, @corgy-w, @yzeng1618, @Adamyuanyuan, @zhangshenghang, @wgzhao, @xiaochen-zhou, @Gfreely
Pull Request Summary
Fixes
- [Bug][Connector-V2][Email] Null 값에서 발생하던 NPE 수정, 구성 가능한 첨부 파일 이름 및 구분자 추가 – @zhan7236
- [Fix][Connector-v2][Doris] 배열 타입 데이터 파싱 실패 수정 – @zhangshenghang
- [Hotfix][CI] TestSQLIT 오류 수정 – @dybyte
- [Fix][doc] SqlServer‑CDC 문서에 누락된 닫는 중괄호 추가 – @wgzhao
- [Fix][Connector-V2][Clickhouse]
ClickhouseSourceFactory에 기본 키 지원 추가 – @zhangshenghang - [Bugfix][seatunnel-e2e] 타임아웃 증가 – @chl-wxp
- [Fix][Connector-v2][MongoDB‑CDC] 서로 다른 MongoDB 서비스에 연결하는 여러 작업을 시작할 때 첫 번째 작업만 적용되는 문제 수정 – @zhangshenghang
- [Fix][Connector-V2][Http]
HttpSink.java에서 HTTP 파라미터 설정 오류 수정 – @zhangshenghang - [Bugfix][seatunnel-connectors-v2][connector-elasticsearch] ElasticsearchSink가 쓰기 오류를 일으키고 작업이 종료되지 않는 문제 해결 – @chl-wxp
- [Fix][Connector-v2][Clickhouse] Clickhouse 로그 엔진 지원 – @zhangshenghang
- [Fix][seatunnel-spark-starter] Spark가 작업을 제출할 때 발생하던 문제 수정… – @LiJie20190102
- [Fix][Transform]
TRIM(Expression)사용 시 SQL Transform에서 발생하던ClassCastException수정 – @corgy-w - [Fix][Connecotr][Hive]
HiveJdbcConnectionProvider에서 비밀번호 파라미터 할당 오류 수정 – @zhangshenghang - [Fix][e2e] 불안정했던 Redis 테스트 수정 – @dybyte
- [Fix][Core] JDK Docker 이미지 버전 업데이트 – @zhangshenghang
- [Fix][Connector-v2][Clickhouse]
PhysicalColumn생성 시DESC결과가 아닌 실제 테이블 스키마 사용 – @zhangshenghang - [Fix][Connector-v2][Clickhouse] SQL 배치 읽기 전략에서
filter_query가 동작하지 않던 문제 수정 – @zhangshenghang - [Fix] HTTP 기본 인증 로그 문제 #9755 해결 – @wuxiansen
- [Fix][Connector-V2] JDBC 문 종료 시 발생하는
JdbcConnectorException무시 – @dybyte
Improvements
- [Improve][Connector-V2][WeChat] 성능 향상을 위해
StringBuffer를StringBuilder로 최적화 – @corgy-w - [Feature][Connector-V2] HDFS ViewFs 스키마 지원 – @xiaochen-zhou
- [Improve][Docs] SeaTunnel 커넥터에 대한 한글 문서 보강 – @yzeng1618
- [Improve][Flink] NO_CDC 소스에 체크포인트 지원 – @yzeng1618
- [Feature][Core] Pending 큐 상세 정보를 조회하는 REST API 추가 – @zhangshenghang
- [Improve][e2e] Docker 이미지 레포지토리를
seatunnelhub로 변경 – @zhangshenghang - [Improve][Docs] 버전 업그레이드 시 비호환 변경 사항 문서 추가 – @dybyte
- [Improve][seatunnel-connectors-v2][connector-mongodb]
MongodbWriter종료 로직 개선 – @chl-wxp - [Feature][Connector-V2] PostgreSQL에서 TIMESTAMP_TZ 읽기 지원 – @yzeng1618
- [Improve][E2E] JDK Docker 이미지를
seatunnelhub로 업데이트 – @zhangshenghang - [Improve][Connector-V2][HBase] 범위 스캔 경계 포함 정책을 구성 가능하도록 지원 – @zhangshenghang
- [Feature][Connector-V2] Apache HugeGraph용 sink 커넥터 지원 – @Gfreely
- [Improve] JSON 다중 레벨 중첩 파싱 지원 – @misi1987107
- [Feature][Connector-V2] Paimon 테이블 읽기의 동적 옵션 지원 – @xiaochen-zhou
- [Improve][Connector-v2][MySQL] 샤드 계산 전략 최적화 – @zhangshenghang
- [Feature][Connector-V2][Milvus] 인터벌에 따라 sink writer 플러시 – @loupipalien
- [Improve][E2E] Redis 테스트에서 해시 삭제 로직 개선 – @chl-wxp
- [Feature][Core]
GetOverviewOperation응답에 PendingJobs 정보 추가 – @xiaochen-zhou - [Feature][Connector-V2] Hive sink에서
SchemaSaveMode와DataSaveMode지원 – @yzeng1618
Others
- [Add][Docs] 웹사이트에 SeaTunnel MCP 및 x2SeaTunnel 문서 소개 – @Adamyuanyuan
- [Improve][Connector-v2][MySQL-CDC] 스키마 진화 최적화 대기 시간 – (불완전한 항목)