Databricks, AI 에이전트 스킬의 “파일을 이메일로 보내줘” 문제를 없애려 한다.
출처: The New Stack
Databricks는 수요일에 오픈소스 Delta Sharing 프로토콜의 후속 버전인 OpenSharing을 출시했습니다.
이 업데이트된 프로토콜은 Apache Iceberg REST Catalog 클라이언트를 지원하고, 온프레미스 스토리지 벤더들을 생태계에 끌어들입니다. 첫 번째 파트너는 Everpure (이전 Pure Storage), MinIO, 그리고 Qumulo입니다.
또한 OpenSharing은 이제 독립적인 Linux Foundation 프로젝트이며, Delta Sharing의 제로‑카피 공유 범위를 테이블에서 에이전트 스킬, AI 모델, 비정형 데이터까지 확장합니다.
에이전트 스택의 대부분 레이어는 이미 표준을 확정했습니다.
- MCP – 에이전트를 도구와 연결
- Google의 Agent2Agent 프로토콜 – 2025년 6월부터 Linux Foundation 프로젝트로 전환돼 에이전트 간 통신을 지원
- Anthropic의 오픈 Agent Skills 사양 – 스킬을 정의
OpenSharing은 조직 간에 데이터와 AI 자산을 안전하게 공유할 수 있도록 돕는 프로토콜을 제공함으로써 이 스택 위에 구축됩니다.
Delta Sharing에서 OpenSharing으로
Databricks는 Delta Lake (Databricks의 오픈소스 테이블 포맷) 하위 프로젝트로서 2021년에 Delta Sharing을 출시했습니다. 당시에는 “조직 간 보안 데이터 공유를 위한 최초의 오픈 프로토콜”이라고 홍보했습니다. 이후 수천 개의 고객·파트너(Amadeus, Atlassian, LSEG, SAP, Stripe, The Trade Desk 등)와 함께 가장 널리 채택된 오픈 데이터 공유 프로토콜이 되었다고 회사는 말합니다.
Databricks 공동창업자이자 CTO인 Matei Zaharia는 오늘 발표에서 “Delta Sharing은 업계가 락인보다 오픈을 선택한다는 것을 입증했다”고 강조했습니다.
기존 Delta Sharing 사용자는 아무 변화도 없습니다. 현재 운영 중인 Delta Sharing 배포는 그대로 작동합니다. OpenSharing은 새로운 자산 유형, 수신자, 소스를 추가하지만, 기존 기능에 대한 파괴적 변화는 없습니다.
에이전트 스킬을 이메일로 보내지 마세요
Databricks의 에코시스템·파트너 통합 제품팀을 이끄는 Akram Chetibi는 The New Stack과의 독점 인터뷰에서 가장 많이 요청되는 새로운 자산 유형이 에이전트 스킬이며, 그 다음이 AI 모델이라고 밝혔습니다.
2023년 말 Databricks에 합류하기 전 Chetibi는 AWS Data Exchange의 창립 프로덕트 매니저였으며, AWS Clean Rooms 사업을 시작하는 데 기여했습니다.
“오늘날 에이전트 스킬을 공유할 쉬운 방법이 없습니다.”라고 Chetibi는 말합니다. “만약 제가 지금 여러분에게 에이전트 스킬을 공유해 달라고 요청한다면, 어떻게 하시겠어요? … 파일을 이메일로 보내실 텐데, 업데이트가 필요하면 어떻게 받으시겠어요? 또 다른 파일을 이메일로 보내야 하겠죠.”
Databricks는 OpenSharing을 ‘AI 자산을 안전하게 공유하기 위한 최초의 오픈·벤더 중립 프로토콜’이라고 부릅니다. 현재 대안은 맞춤형 통합이나 단일 벤더 마켓플레이스(예: Salesforce의 AgentExchange, AWS·Microsoft 마켓플레이스 내 에이전트 스토어프런트)입니다.
OpenSharing을 사용하면 제공자는 스킬이나 모델을 한 번만 게시하면 되고, 파트너는 표준 API를 통해 검색·인증·접근을 수행할 수 있습니다. 소스에서 제로‑카피 접근이 가능하다는 점이 핵심입니다.
프로토콜이 스킬이나 모델의 구체적 형식을 강제하지는 않는다는 점도 주목할 만합니다.
프로토콜 작동 방식
Chetibi에 따르면 자산 종류와 관계없이 외부 협업에 대한 요구사항은 변하지 않습니다. “클라우드·리전·플랫폼을 초월해 동작하고, 제로 카피(또는 실시간 공유) 방식이어야 합니다.”라고 그는 설명합니다.
객체 모델은 Delta Sharing에서 이어받았습니다. 제공자는 자산을 share라는 단위로 패키징합니다. 이 share 안에는 스키마가 포함되며, 스키마는 이제 테이블, AI 모델, 혹은 에이전트 스킬을 담을 수 있습니다.
자산 유형에 따라 구체적인 메커니즘은 다릅니다. 구조화된 데이터는 Parquet 형식이며, 파티션별 서명된 URL을 통해 공유됩니다. 이는 Delta‑ 또는 Iceberg‑호환 API를 통해 노출되며, 변경 데이터 피드와 같은 기능을 제공합니다. 비정형 데이터와 AI 자산은 클라우드 토큰을 발행해 기본 스토리지를 클라우드에 구애받지 않게 접근하도록 합니다.
이 프로토콜은 관리 경계 밖의 읽기 전용 외부 공유를 다루며, 내부 거버넌스는 이번 발표에 포함되지 않았습니다. Chetibi는 “추후에 계속 지켜봐 주세요”라고 덧붙였습니다.
또 하나의 API: Iceberg
OpenSharing은 이제 Apache Iceberg API도 지원합니다. Iceberg은 Parquet과 보완 관계에 있는 분석 테이블 공유 표준으로 자리 잡았습니다. 하지만 Chetibi는 “포맷 자체는 점점 덜 중요해지고 있습니다. 결국엔 모두 Parquet에 메타데이터가 얹힌 형태이죠.”라고 주장합니다.
Delta Sharing은 이미 Apache Spark, Power BI, Excel, Python용 커넥터를 제공했으며, Snowflake도 수신자로 지원합니다. Iceberg API를 추가함으로써 Iceberg을 지원하는 모든 도구가 새로운 목적지가 됩니다.
Databricks는 이 방향을 오래전부터 추진해 왔습니다. 2024년에 Apache Iceberg 창시자들이 만든 Tabular를 약 20억 달러에 인수했으며(TechCrunch 보도), Delta와 Iceberg 간 메타데이터 융합을 목표로 하는 Iceberg v4 사양을 제시하고 있습니다.
한편 Snowflake는 자체 데이터 공유 기능을 Iceberg 및 Delta 테이블에 확대 적용해 클라우드·리전 간 공유 생태계를 구축했으며, 경쟁사 대비 2.5배 규모의 공유 생태계를 보유한다고 주장합니다. 두 회사 모두 공유 전략을 ‘오픈’이라고 내세우지만, Databricks는 프로토콜 자체를 공개해 누구든 구현할 수 있게 하는 반면, Snowflake는 자체 플랫폼을 통한 공유에 머물고 있습니다.
온프레미스에서 프로토콜 활용
Everpure(전 Pure Storage, 2월에 리브랜딩됨), MinIO, Qumulo는 출시와 동시에 관리형 OpenSharing 서비스를 제공하며, Cohesity, Commvault, Hewlett Packard Enterprise, NetApp, Nutanix, Rubrik, VAST Data가 차례로 따라올 예정입니다.
스토리지 벤더가 직접 OpenSharing 서버를 운영하므로 고객이 직접 서버를 구축할 필요가 없습니다.
“이것은 진정한 오픈 프로토콜이며, Databricks가 아닌 다른 많은 플랫폼에서도 사용·지원됩니다.”
“이 파트너들이 온프레미스에 서버를 로컬로 배치하면, 여러분은 다른 클라우드나 플랫폼에 연결하듯 동일한 프로토콜로 손쉽게 연결할 수 있습니다.”라고 Chetibi는 말합니다.
Chetibi에 따르면 두 가지 전제가 필요했습니다. 첫째, 프로토콜이 비정형 데이터와 AI 자산을 지원해야 했습니다. 온프레미스 환경은 테이블만이 아니기 때문입니다. 둘째, Databricks는 고객이 아니라 스토리지 제공업체가 서버를 운영하도록 하고 싶었습니다.
오픈 거버넌스
OpenSharing은 Delta Lake와 Unity Catalog을 기반으로 합니다. Databricks는 이 두 프로젝트를 2024년 6월에 [LF AI & Data에 기부](https://lfaidata.foundation/blog/2024/06/20/welcoming-un