HDFS와 S3비교
궁금증
Hadoop은 Data Warehouse나 Data Lake로 많이 쓰는데, 저장 매체를 HDFS와 S3중 어떤게 더 나을까?
HDFS(Hadoop Distributed File System)란 ?
Hadoop 애플리케이션을 위한 기본 데이터 스토리지 시스템
Apache Software Foundation의 프로젝트 중 하나
fault-tolerant 파일 시스템으로 상용 하드웨어에서도 실행
데이터 위치를 추적하는 NameNode와 데이터를 저장하고 검색하는 DataNode로 구성
여러 노드에 replica가 분산 중복 저장되므로 노드 장애 시 데이터 손실을 방지
Amazon S3(Simple Storage Service)란 ?
편리한 웹 기반 인터페이스의 객체 스토리지
AWS의 laas(Infrastructure as a Service) 솔루션
우수한 확장성, 데이터 가용성, 보안, 성능
비교
Scalability
HDFS
로컬 스토리지를 기존 노드에 수평적으로 확장할 수 있음
클러스터에 새로운 노드를 추가함으로써 확장할 수 있음
S3
스토리지를 데이터 사용량에 따라 자동적으로 확장할 수 있음
사실상 스토리지 용량에 제한이 없음
Durability
HDFS
데이터 내구성 통계 상 대규모 4,000 노드 클러스터에서 1개의 데이터 블록(64MB)를 잃을 확률은 0.00000057
그러나 대부분의 클러스터는 수십개의 노트만 포함되어 있으므로 데이터 손실 가능성이 더욱 큼
S3
연간 99.999999999%의 내구성 즉, 10,000년에 한 번씩 10,000,000개당 단일 객체 손실 가능성
Persistence
HDFS
EC2 인스턴스가 중지되면 데이터 유실
단, EBS 볼륨으로 데이터 유지 가능하지만 추가 비용 발생
S3
항상 지속성을 가짐
Price
HDFS
데이터 무결성을 위해 기본적으로 데이터 블록 단위로 3개의 복사본을 저장하여 비용이 3배
데이터 복사본을 줄일 수 있지만 복사본이 하나인 경우 데이터 무결성에 지장을 줄 수 있음
S3
자체에서 데이터 백업 문제를 처리하므로 실제 필요한 스토리지에 대해서만 비용 지불
압축 파일 저장을 지원하여 스토리지 비용 절감
Performance
HDFS
동일한 시스템에 저장되고 처리되기 때문에 액세스 및 처리 속도 매우 우수
S3
상대적으로 지연 시간이 높고, 데이터 처리량은 더 낮음
I/O Test
m1.xlarge 인스턴스 (4개의 임시 디스크) 기준
Security
HDFS
Kerberos를 통한 사용자 인증과 파일 시스템 권한을 통한 권한 부여 가능
클러스터를 여러 NameSpace로 분할하여 특정 사용자에게 데이터 액세스 제한 가능
SSL을 통해 Amazon 인스턴스 제한 가능
S3
보인 기능 내장으로 사용자 인증 지원
버킷과 객체 소유자만이 데이터에 액세스 할 수 있음
버킷 정책과 ACL(Access Control Lists)을 통해 사용자와 그룹에 추가 권한 부여 가능
SSL을 통해 데이터 암호화 가능
Limitations
HDFS
모든 크기의 파일을 저장할 수 있지만 매우 작은 파일을 저장하는데 문제가 있음
데이터를 해당 클러스터의 시스템에서만 사용할 수 있고, 외부 인스턴스에서 사용 불가
S3
데이터는 Hadoop 클러스터와 독립적이며 여러 클러스터에서 동시 처리 가능하나, 최대 파일 크기가 5GB에 불과함
Parquet이나 ORC와 같은 Hadoop 스토리지 형식을 사용할 수 없음
정리
각자 장단점이 있고, 아래 용도에 맞게 사용하는게 맞는듯 하다.
HDFS
빠른 처리속도와 파일 크기와 스토리지 형식에 제한이 없어야하는 경우 유리
S3
뛰어난 확장성, 지속성 그리고 저렴한 비용을 요하는 경우 유리
Last updated
