data 포맷

이전에 작업한 고객 데이터는 JSON 문서 형식입니다.

:1:39부터 동영상을 재생하고 스크립트를 따라가세요.1:39

ID가 2인 고객을 위한 제목이라는 추가 필드가 있습니다.

:1:45부터 동영상을 재생하고 스크립트를 따라가세요.1:45

Microsoft 웹 사이트의 

SQL Server 페이지의 JSON 데이터에서 Jason에 대해 자세히 알아볼 수 있습니다. 

원하는 필드를 자유롭게 정의할 수 있습니다. 

중요한 점은 데이터가 

JSON 문법 또는 구문을 따른다는 것입니다. 

애플리케이션은 문서를 읽을 때 

JSON 파서를 사용하여 문서를 

구성 요소 필드로 나누고 

개별 데이터를 추출할 수 있습니다. 

다른 형식으로는 

Avro, ORC, Parquet 등이 있을 수 있습니다. 

이제 각각에 대해 간단히 살펴보겠습니다. 

Avro는 강력한 형식입니다. 

아파치에 의해 만들어졌습니다. 

각 레코드에는 

레코드의 데이터 구조를 설명하는 헤더가 포함되어 있습니다. 

헤더는 JSON으로 저장됩니다. 

데이터는 바이너리 정보로 저장됩니다. 

응용 프로그램은 헤더의 정보를 사용하여 

이진 데이터를 파싱하고 포함된 필드를 추출합니다. 

Avro는 

데이터를 압축하고 스토리지 및 네트워크 대역폭을 최소화하는 데 매우 적합한 형식입니다. 

ORC 또는 Optimized Row 열 형식은 데이터를 행이 아닌 열로 

구성합니다. 

아파치 하이브의 최적화, 

읽기 및 쓰기 작업을 위해 HortonWorks에서 개발했습니다.

:3:6부터 동영상을 재생하고 스크립트를 따라가세요.3:06

Hive는 매우 큰 데이터 세트에 대한 

빠른 데이터 요약 및 쿼리를 지원하는 데이터 웨어하우스 시스템입니다. 

Hive는 비정형 데이터에 대해 SQL과 유사한 쿼리를 지원합니다. 

ORC 파일에는 줄무늬의 데이터가 포함되어 있습니다. 

각 스트라이프에는 

열 또는 열 집합의 데이터가 들어 있습니다. 

스트라이프에는 스트라이프의 행에 

대한 인덱스, 각 행의 데이터, 통계 정보가 들어 

있는 

바닥글에는 각 열에 대한 최대 수를 하나로 간주하는 통계 정보가 들어 있습니다. 

파켓은 또 다른 컬럼형 데이터 형식입니다. 

클라우데라와 트위터에서 만들었습니다. 

Parquet 파일에는 행 그룹이 포함되어 있습니다. 

각 열의 데이터는 

동일한 행 그룹에 함께 저장됩니다. 

각 행 그룹에는 하나 이상의 데이터 청크가 포함됩니다. 

Parquet 파일에는 

각 청크에 있는 규칙 세트를 설명하는 메타데이터가 포함되어 있습니다. 

응용 프로그램은 

이 메타데이터를 사용하여 지정된 행 

집합의 올바른 청크를 빠르게 찾고 

지정된 열에서 해당 행의 데이터를 검색할 수 있습니다. 

Parquet은 

중첩된 데이터 유형을 효율적으로 저장하고 처리하는 데 특화되어 있습니다. 

매우 효율적인 

압축 및 인코딩 체계를 지원합니다. 

비정형 데이터는 기본적으로 필드를 

포함하지 않는 데이터입니다. 

비정형 데이터의 예로는 오디오 

, 비디오 및 기타 미디어 스트림이 있습니다. 

각 항목은 이진 데이터로 구성된 비정질 덩어리입니다.이 데이터에서는 

특정 요소를 검색할 수 없습니다. 

이러한 데이터를 

목적에 맞게 특별히 설계된 스토리지에 저장하도록 선택할 수 있습니다. 

Microsoft Azure에서는 비디오 및 

오디오 데이터를 Azure 저장소 계정에 블록 블록으로 저장하는 경우가 많습니다. 

블롭이라는 용어는 이진 대형 오브젝트의 약자입니다. 

블록 블롭은 

기본 읽기 및 쓰기 작업만 지원합니다. 

파일

:5:부터 동영상을 재생하고 스크립트를 따라가세요.5:00

유형을 나타내는 메타데이터 ( 

예: 사진이나 문서, 

Excel 스프레드시트 등) 가 포함되어 있는 경우도 있지만 파일을 비정형 데이터의 한 형태로 간주할 수도 있습니다. 

파일에는 

소유자 및 필드로 

저장할 수 있는 기타 요소와 같은 메타데이터도 포함될 수 있습니다. 

하지만 파일의 주요 내용은 구조화되지 않았습니다.