Hive는 매우 큰 데이터 세트에 대한
빠른 데이터 요약 및 쿼리를 지원하는 데이터 웨어하우스 시스템입니다.
Hive는 비정형 데이터에 대해 SQL과 유사한 쿼리를 지원합니다.
ORC 파일에는 줄무늬의 데이터가 포함되어 있습니다.
각 스트라이프에는
열 또는 열 집합의 데이터가 들어 있습니다.
스트라이프에는 스트라이프의 행에
대한 인덱스, 각 행의 데이터, 통계 정보가 들어
있는
바닥글에는 각 열에 대한 최대 수를 하나로 간주하는 통계 정보가 들어 있습니다.
파켓은 또 다른 컬럼형 데이터 형식입니다.
클라우데라와 트위터에서 만들었습니다.
Parquet 파일에는 행 그룹이 포함되어 있습니다.
각 열의 데이터는
동일한 행 그룹에 함께 저장됩니다.
각 행 그룹에는 하나 이상의 데이터 청크가 포함됩니다.
Parquet 파일에는
각 청크에 있는 규칙 세트를 설명하는 메타데이터가 포함되어 있습니다.
응용 프로그램은
이 메타데이터를 사용하여 지정된 행
집합의 올바른 청크를 빠르게 찾고
지정된 열에서 해당 행의 데이터를 검색할 수 있습니다.
Parquet은
중첩된 데이터 유형을 효율적으로 저장하고 처리하는 데 특화되어 있습니다.
매우 효율적인
압축 및 인코딩 체계를 지원합니다.
비정형 데이터는 기본적으로 필드를
포함하지 않는 데이터입니다.
비정형 데이터의 예로는 오디오
, 비디오 및 기타 미디어 스트림이 있습니다.
각 항목은 이진 데이터로 구성된 비정질 덩어리입니다.이 데이터에서는
특정 요소를 검색할 수 없습니다.
이러한 데이터를
목적에 맞게 특별히 설계된 스토리지에 저장하도록 선택할 수 있습니다.
Microsoft Azure에서는 비디오 및
오디오 데이터를 Azure 저장소 계정에 블록 블록으로 저장하는 경우가 많습니다.
블롭이라는 용어는 이진 대형 오브젝트의 약자입니다.
블록 블롭은
기본 읽기 및 쓰기 작업만 지원합니다.
파일
