"아마존S3에 아파치 아이스버그 테이블 도입" [AWS 리인벤트 2024]

[아이뉴스24 윤소진 기자] AWS가 아마존 S3(Simple Storage Service)에 아파치 아이스버그(Apache Iceberg) 테이블을 도입한다고 3일(현지 시각) AWS 리인벤트에서 발표했다. 이를 통해 아마존 S3는 아파치 아이스버그의 완전 관리형 지원을 제공하는 최초의 클라우드 오브젝트 스토리지가 됐다.

새롭게 도입되는 '아마존 S3 테이블'은 기존 S3 버킷 대비 최대 3배 빠른 쿼리 성능과 초당 10배 높은 트랜잭션 처리 속도를 제공한다. '아마존 S3 메타데이터' 기능을 통해 실시간에 가까운 데이터 검색과 관리가 가능해졌다.

앤디 워필드 AWS 스토리지 부문 부사장은 "450조 개 이상의 오브젝트를 보유한 세계 최고의 오브젝트 스토리지인 아마존 S3는 전례 없는 규모로 데이터 작업의 복잡성을 제거하기 위해 계속해서 혁신하고 있다"고 말했다.

아마존 S3 테이블은 데이터 압축이나 스냅샷 관리 같은 테이블 유지관리 작업을 자동으로 수행한다. 고객들은 행 수준 트랜잭션, 타임 트래블 기능을 통한 쿼리 가능한 스냅샷, 스키마 진화 등 아이스버그의 주요 기능들을 활용할 수 있다.

AI 기반 경험 오케스트레이션 기업 제네시스는 아마존 S3 테이블을 통해 데이터 분석 요구사항에 대한 구체화된 뷰 레이어를 제공할 계획이다. 이를 통해 AI 기반 고객 및 직원 경험 솔루션을 위한 더 빠르고 유연한 데이터 인사이트를 얻을 수 있을 것으로 기대하고 있다.

새로운 메타데이터 기능은 데이터 검색을 가속화하고 이해를 개선하는 데 초점을 맞췄다. 고객들은 제품 SKU, 거래 ID, 콘텐츠 등급 같은 비즈니스 관련 정보를 태그로 추가할 수 있으며, SQL 쿼리를 통해 손쉽게 검색할 수 있다.

생명공학 기업 로슈는 이 기능을 활용해 생성형 AI 이니셔티브를 가속화할 계획이며, 텔레매틱스 서비스 제공업체 CMT는 전 세계 IoT 디바이스에서 수집한 페타바이트급 데이터를 효율적으로 관리하는 데 활용할 예정이다.

아마존 S3 테이블은 정식 버전으로, 메타데이터 기능은 프리뷰 버전으로 제공된다. 고객들은 아마존 아테나, 레드시프트, EMR, 퀵사이트 등 AWS의 분석 서비스를 통해 이 기능들을 활용할 수 있다.