AWS re:Invent 2025: 서버리스와 스토리지, AI 기반 대대적 개편!
Source: Dev.to
번역을 진행하려면, 번역이 필요한 전체 텍스트(코드 블록이나 URL을 제외한 본문)를 제공해 주시겠어요? 텍스트를 주시면 요청하신 대로 한국어로 번역해 드리겠습니다.
서버리스 워크플로와 스마트 스토리지를 위한 새로운 시대
또 다른 AWS re:Invent가 지나갔고, 발표 내용은 혁신의 소용돌이 그 자체였습니다. DataFormatHub의 기술 저널리스트로서 AWS Lambda와 Amazon S3를 재구성하는 최신 개발 소식에 특히 흥분됩니다. 2025년, AWS는 서버리스 컴퓨팅과 객체 스토리지의 경계를 넓히며, 빌더와 데이터‑워글러 모두에게 더 쉽고, 더 즐거운 환경을 제공하고 있습니다.
Lambda 하이라이트
-
Lambda Durable Functions – 획기적인 변화.
- Lambda가 진행 상황을 체크포인트하고, 최대 1년까지 실행을 일시 중지하며, 실패 시 자동 복구하도록 지원합니다.
- Step Functions나 맞춤형 상태 관리 코드를 사용할 필요가 없습니다.
- 주문 처리, 사용자 온보딩, 인간 검토 또는 장시간 연산이 필요한 AI‑지원 워크플로에 이상적입니다.
- 현재 사용 가능하며 Python 3.13/3.14 및 Node.js 22/24 런타임을 지원합니다.
-
Lambda Managed Instances – 양쪽 장점을 모두 제공.
- 전용 EC2‑백엔드 인프라(Graviton4, GPU 등)에서 Lambda 함수를 실행합니다.
- Savings Plans 또는 Reserved Instances를 활용해 고정 워크로드에서 최대 72 % 비용 절감을 달성합니다.
- AWS가 패치, 로드 밸런싱, 자동 스케일링, 콜드 스타트 완화를 담당하며, 트래픽을 사전 프로비저닝된 환경으로 라우팅합니다.
S3 하이라이트
-
S3 Vectors (GA) – S3에 직접 내장된 고규모 벡터 검색.
- 인덱스당 최대 20억 개의 벡터를 지원하며, 쿼리 지연 시간은 약 100 ms 수준입니다.
- 전용 벡터 데이터베이스 대비 비용을 최대 90 % 절감합니다.
- Amazon Bedrock Knowledge Bases와 Amazon OpenSearch Service와 원활하게 통합됩니다.
-
그 외 주목할 만한 개선 사항
- 50 TB 객체 지원으로 대규모 데이터셋을 손쉽게 저장합니다.
- 새로운 “no‑manifest” 옵션을 통한 S3 Batch Operations 10배 가속—버킷이나 프리픽스만 지정하면 수십억 개 객체를 처리할 수 있습니다.
- S3 Tables에 자동 Intelligent‑Tiering이 추가되어 최대 80 % 비용 절감이 가능하고, 교차 계정 / 교차 리전 복제가 간소화되었습니다.
- 태그 기반 접근 제어를 도입해 보안 관리가 직관적으로 바뀌며, 복잡한 버킷 정책에 대한 의존도가 감소했습니다.
풍경 변화: AI‑네이티브 클라우드가 도래했습니다
이러한 발표들은 개별 기능에 그치지 않으며, 명확한 추세를 나타냅니다: 클라우드가 본질적으로 AI‑네이티브로 변하고 있다는 것입니다. AWS는 이제 단순히 빌딩 블록을 제공하는 수준을 넘어, 매일 사용하는 핵심 서비스에 AI 기능을 직접 내장하고 있습니다.
- S3는 단순한 객체 저장소에서 AI‑인식 데이터 기반으로 진화하여, 페타바이트 규모의 벡터 인덱스와 표형 데이터를 지능적인 비용 최적화와 함께 처리합니다.
- Lambda Durable Functions은 현대 AI 워크플로우가 종종 오케스트레이션, 인간 피드백 루프, 장기 실행 프로세스를 필요로 한다는 점을 인식합니다. Lambda를 “내구성 있게” 만들면서, AWS는 개발자가 관리형 컴퓨팅 이점을 포기하지 않고도 복잡하고 상태를 유지하는 애플리케이션을 서버리스 모델로 활용할 수 있게 합니다.
요컨대, 데이터 저장, 처리 및 AI 추론이 하나의 매끄럽고 상호 연결된 구조로 융합되고 있습니다.
기술적 뉘앙스 탐구
Lambda Durable Functions은 매력적입니다. 상태를 유지하면서 최대 1년까지 실행을 일시 중지할 수 있는 능력은 큰 차별점이 됩니다. 내부적으로 AWS는 견고한 내부 상태 머신과 영속성 레이어를 사용해, 개발자들이 이전에 직접 연결해야 했던 여러 Lambda 호출이나 외부 저장소 메커니즘(예: DynamoDB, SQS)의 복잡성을 추상화하고 있을 가능성이 높습니다. 이는 전통적인 Step Functions 기반 오케스트레이션과 직접 경쟁하면서도 Lambda의 저지연, 사용량 기반 과금 모델을 유지합니다.
SDK와 실제 벤치마크를 손에 넣는 대로 추가적인 기술 심층 분석이 이어질 예정입니다.
Lambda Durable Functions
AWS Step Functions를 사용하던 작업을 — 특히 더 단순한 경우에는 — 대체·단순화하여, 특정 오케스트레이션 패턴에 대해 보다 네이티브한 Lambda 개발자 경험을 제공합니다. 개발자 입장에서는 보일러플레이트 코드가 줄어들고, 관리해야 할 부품이 감소하며, 복잡한 프로세스에 대해 보다 일관된 프로그래밍 모델을 사용할 수 있게 됩니다.
Lambda Managed Instances
그 근본 메커니즘은 Lambda 함수 전용으로 EC2 인스턴스 풀(Graviton 4나 GPU와 같은 특수 하드웨어 포함)을 프로비저닝하고 관리하는 AWS 방식과 유사합니다. 이를 통해 실행 환경당 여러 동시 요청을 처리할 수 있어, 특히 호출 빈도가 높고 트래픽이 지속적인 함수의 경우 자원 활용도가 크게 향상되고 컴퓨팅 소비가 감소합니다. 서버리스의 탄력성과 프로비저닝된 인스턴스의 비용 예측 가능성·특수 하드웨어 접근성을 효과적으로 연결해, 많은 기업 사용자가 갈망해 온 best‑of‑both‑worlds 시나리오를 제공합니다.
S3 Vectors
S3 Vectors는 분산 시스템 엔지니어링의 성공 사례입니다. 이 규모의 객체 스토리지 서비스에 고성능 벡터 검색을 직접 구현하는 일은 결코 쉬운 일이 아닙니다. 이는 S3 방대한 인프라 전반에 걸쳐 최적화된 인덱싱 및 검색 메커니즘이 배포되어, 벡터 검색이 부가 기능이 아니라 데이터 저장의 기본 원시 기능이 됨을 의미합니다.
S3 Tables
S3 Tables 개선 사항—특히 Intelligent‑Tiering—은 데이터 레이크 효율성에 핵심적입니다. 접근 패턴에 따라 Iceberg 테이블 데이터를 저렴한 스토리지 클래스로 자동 이동시킴으로써, AWS는 실질적인 비용 최적화를 제공하고 장기적으로 상당한 자본 절감을 가능하게 합니다.
- Tag‑based access control – 객체 수준의 복잡성에서 리소스 수준의 명확성으로 전환하여, 규모에 맞는 보안 단순화를 크게 향상시킵니다.
개발자에게 의미하는 바 (그리고 DataFormatHub 워크플로우!)
자, 본론으로 들어갑시다. 이러한 발표가 데이터 포맷 변환과 파이프라인 오케스트레이션에 깊이 관여하고 있는 개발자들의 일상에 어떤 영향을 미칠까요?
Lambda Durable Functions
Lambda Durable Functions은 새로운 가능성의 보물창고를 열어줍니다. 복잡한 데이터 변환 파이프라인을 상상해 보세요. 여기서 Lambda 함수가:
- 장기 실행 외부 프로세스(예: 대규모 데이터 정제 작업 또는 AI 모델 학습)를 시작하고,
- 완료될 때까지 대기합니다.
별도의 오케스트레이터에 의존하거나 폴링을 할 필요 없이, Lambda는 외부 이벤트가 트리거될 때 일시 정지하고 다시 실행됩니다. 이는 DataFormatHub 사용자가 다루는 많은 데이터 통합 및 AI 추론 파이프라인의 아키텍처를 크게 단순화시켜, 장기 실행, 상태 유지 서버리스 애플리케이션을 현실화합니다. 수동 상태 관리의 번거로움은 이제 안녕입니다.
Lambda Managed Instances
Lambda Managed Instances는 비용 최적화와 일관된 성능을 위한 큰 장점입니다. 밤마다 실행되는 ETL 작업, 지속적인 데이터 검증, 혹은 항상 켜져 있는 API 백엔드와 같은 안정적인 데이터 처리 작업이 기존 Lambda에서는 어색하거나 비용이 많이 들었을 수 있습니다. 관리형 인스턴스를 사용하면 다음을 얻을 수 있습니다:
- 익숙한 Lambda 프로그래밍 모델.
- 전용 컴퓨팅의 예측 가능한 성능 및 비용 프로파일.
- EC2 운영 오버헤드 없음.
이는 더 많은 워크로드를 서버리스와 유사한 패러다임으로 완전히 옮기는 데 게임 체인저가 될 수 있습니다.
S3 Vectors
S3에 대한 영향은 깊습니다. S3 Vectors는 벡터 임베딩을 활용하는 데이터 강화, 검색, 추천 시스템을 구축하고 있다면, 이제 S3가 해당 데이터의 1급 시민이 된다는 뜻입니다. 이를 통해:
- 원시 데이터와 함께 벡터화된 데이터를 직접 저장할 수 있습니다.
- 별도의 고가 벡터 데이터베이스를 구축하지 않고도 의미 검색을 수행할 수 있습니다.
이는 데이터 아키텍처를 단순화하고 애플리케이션 내 AI 기반 기능 개발을 가속화합니다. DataFormatHub 워크플로우에서 임베딩을 생성하고 있다면, S3 Vectors가 새로운 최고의 파트너가 될 것입니다.
S3 Tables
S3 Tables 개선 사항은 데이터 레이크에 있어 순수 금광과 같습니다:
- 자동 계층화 – 자주 접근되지 않는 데이터에 대한 스토리지 비용을 수동 개입 없이 크게 절감합니다.
- 간소화된 복제 – 보다 견고하고 전 세계에 분산된 데이터 레이크를 제공합니다.
- 태그 기반 접근 제어 – 방대한 S3 저장소 전반에 걸쳐 민감한 데이터를 보다 쉽게 관리하고 감사할 수 있게 합니다.
이러한 개선은 차세대 분석 및 AI에 대비한 강력하고 비용 효율적인 데이터 레이크하우스를 구축하기 위한 기반으로 S3를 더욱 매력적인 선택으로 만들어 줍니다.
판결: AWS는 한계를 계속 뛰어넘는다
솔직한 의견? AWS는 re:Invent 2025에서 정말 스스로를 뛰어넘었습니다. 이번 발표들은 단순한 점진적 개선이 아니라 복잡한 패턴을 단순화하고 최첨단 기능을 기본 서비스에 직접 내장하는 전략적 움직임을 의미합니다. 주요 테마는 명확합니다:
- AI가 어디에나 퍼지고 있다
- 서버리스가 더 정교한 워크로드를 처리하도록 성장하고 있다
- 스토리지가 더 똑똑하고 비용 효율적으로 변하고 있다
특히 Lambda Durable Functions에 매우 흥분됩니다. 이 기능은 서버리스 개발에서 오랫동안 존재해 온 도전을 해결하여, 이전에 서비스에 너무 복잡하거나 상태가 필요하다고 여겨졌던 워크플로우까지 Lambda의 활용도를 확장합니다. Lambda Managed Instances와 결합하면, AWS는 어떤 종류의 서버리스 워크로드든 성능과 비용을 최적화할 수 있는 전례 없는 유연성을 제공합니다.
그리고 S3 Vectors? 순수한 천재성입니다. 벡터 검색을 S3의 기본 기능으로 만든 것은 AI 기반 애플리케이션을 전반적으로 가속화할 획기적인 아이디어입니다.
AI 도입을 가속화하고 데이터 아키텍처를 전반적으로 단순화합니다.
S3 Tables에 대한 개선은 S3를 선도적인 데이터 레이크 솔루션으로서의 역할을 더욱 견고하고, 지능적이며, 비용 효율적으로 만들고 있습니다.
이러한 발전은 우리가 빌더로서 혁신적인 코드를 작성하는 데 더 집중하고 인프라와 씨름하는 시간을 줄일 수 있음을 의미합니다. AWS는 복잡성을 더 많이 추상화하고 강력한 새로운 프리미티브를 제공함으로써 클라우드에서 가능한 것들을 근본적으로 바꾸고 있습니다. 아직 아키텍처를 재검토하지 않으셨다면, 지금이 바로 그때입니다. AI에 크게 영향을 받은 클라우드 개발의 미래가 2025년에 도래했으며, 그 전망은 매우 흥미진진합니다!
출처
🛠️ 관련 도구
이 주제와 관련된 DataFormatHub 도구를 살펴보세요:
- JSON to YAML – CloudFormation 템플릿 변환
- Base64 Encoder – Lambda 페이로드 인코딩
📚 여러분도 관심 가질 만한 글
- AI 쓰나미: 2024‑2025년 VS Code 확장 프로그램이 개발자 생산성을 재정의하는 방법
- 데이터 잠금 해제: 자동화를 위한 노코드 데이터 도구의 힘
- 미래 탐색: 2024년 및 그 이후를 형성하는 주요 데이터 엔지니어링 트렌드
원본은 DataFormatHub에 게시되었습니다.