본문 바로가기

전체 글

ms-azure data factory, Lake 다음은 대규모 데이터 웨어하우스 분석을 더 깊이 있게 탐색하는 데 도움이 되는 추가 리소스입니다: 데이터 팩토리 Synapse SQL 풀에서 분산 테이블 설계를 위한 지침 Synapse SQL 풀을 위한 데이터 로드 전략 PolyBase란? Azure 데이터 레이크 스토리지 Azure 데이터브릭이란? Azure Synapse 분석 Azure Analysis Services란? 빠른 시작 빠른 시작: Azure Data Factory UI를 사용하여 데이터 팩토리 만들기 다음은 Microsoft Azure에서 최신 데이터 웨어하우스의 구성 요소를 탐색하는 데 도움이 되는 몇 가지 추가 리소스입니다. Azure Data Factory UI를 사용하여 데이터 팩토리 만들기 Azure SQL 데이터 웨어하우스는.. 더보기
Microsoft Azure에서의 데이터 저장 및 처리 안녕하세요. 이 강의에서는 Microsoft Azure에서의 데이터 저장 및 처리에 대해 알아봅니다. 데이터는 조직 내 여러 위치에 있습니다. 클라우드 데이터 솔루션을 설계할 때는 분석을 위해 원시 데이터를 데이터 저장소에 수집해야 합니다. Azure Synapse Analytics에서 사용할 수 있는 일반적인 접근 방식은 현재 저장된 위치에서 데이터를 추출하는 것입니다. 이 데이터를 분석 데이터 저장소에 로드한 다음, 데이터를 변환하여 분석에 사용할 수 있도록 구성하세요. 이 접근 방식을 추출 로드 및 변환을 위한 ELT라고 합니다. Azure Synapse Analytics는 아파치 스파크와 자동화된 파이프라인을 사용하는 이 접근 방식에 특히 적합합니다. Synapse Analytics는 대규모 데이.. 더보기
데이터 수집 이 부분에서는 데이터 로딩에 대한 일반적인 방법을 계속 설명합니다. Sequel 서버 통합 서비스. SSIS는 엔터프라이즈 수준의 데이터 통합 및 데이터 변환 솔루션을 구축하기 위한 플랫폼입니다. SSIS를 사용하여 파일을 복사 또는 다운로드하고, 데이터 웨어하우스를 로드하고, 데이터를 정리 및 마이닝하고, 후속 데이터베이스 개체 및 데이터를 관리함으로써 복잡한 비즈니스 문제를 해결할 수 있습니다. SSIS는 Microsoft의 일부입니다. 시퀄 서버. SSIS는 XML 데이터 파일, 플랫 파일 및 관계형 데이터 소스와 같은 다양한 소스에서 데이터를 추출 및 변환한 다음 데이터를 하나 이상의 대상으로 로드할 수 있습니다. SSIS에는 다양한 기본 작업 및 변환 세트가 포함되어 있습니다. 패키지를 빌드하는.. 더보기
최신 데이터 웨어하우징을 위한 Azure 데이터 수집 구성 요소 대규모 제조 운영 조직에서 일하는 데이터 엔지니어라면 최신 데이터 웨어하우스를 구성하는 구성 요소에 대해 더 많이 알고 싶을 것입니다. 이 정보는 조직의 요구 사항에 가장 근접하게 부합하는 요소를 결정하는 데 도움이 됩니다. 이 부분에서는 Azure가 제공하는 데이터 서비스에 대해 자세히 알아봅니다. 이러한 서비스를 사용하면 여러 소스의 데이터를 결합하여 분석 모델로 다시 포맷하고 이러한 모델을 저장하여 후속 쿼리, 보고 및 시각화할 수 있습니다. Azure 데이터 팩토리부터 시작해 보겠습니다. Azure 데이터 팩토리는 데이터 통합 서비스로 설명됩니다. Azure Data Factory의 목적은 하나 이상의 데이터 원본에서 데이터를 검색하여 처리하는 형식으로 변환하는 것입니다. 데이터 원본은 다양한 방.. 더보기
Azure Blob 스토리지 관리 Azure Blob Storage는 이미지 , 비디오 및 오디오 파일과 같은 대용량 바이너리 개체를 보관하는 데 적합한 저장소입니다. Contoso 시나리오에서는 회사에서 제조한 제품의 이미지를 보관하기 위한 블럽 컨테이너를 만들었습니다. Microsoft Azure는 현재 세 가지 유형의 블롭을 지원합니다. 페이지 블롭은 Azure 가상 머신의 가상 디스크 스토리지를 구현하는 데 사용됩니다. 임의 읽기 및 쓰기 작업을 지원하도록 최적화되었습니다. Append blob은 로그나 기타 보관된 데이터와 같이 청크 단위로 증가하는 데이터를 저장하는 데 적합합니다. 블록 블롭은 정적 데이터에 가장 적합하며, Contoso에서 보관하는 이미지 데이터를 보관하는 데 가장 적합한 스토리지 유형입니다. 이제 블롭과 블.. 더보기
Azure Cosmos DB 관리 애저 코스모스 DB는 NoSQL 데이터베이스 관리 시스템입니다. MongoDB 및 Cassandra를 비롯한 일부 기존 NoSQL 시스템과 호환됩니다. Contoso 시나리오에서는 재고 품목 수량에 대한 정보를 보관하는 Cosmos DB 데이터베이스를 만들었습니다. 이제 이 데이터베이스를 채우는 방법과 쿼리하는 방법을 이해해야 합니다. 이제 Cosmos DB가 데이터를 저장하는 방법을 살펴보겠습니다. 그런 다음 Cosmos DB 데이터베이스에 데이터를 업로드하고 대량 로드를 지원하도록 Cosmos DB를 구성하는 방법을 알아봅니다. Cosmos DB는 데이터를 일련의 문서로 관리합니다. JSON 또는 자바스크립트 객체 표기법을 사용하여 문서 구조를 나타냅니다. 이 형식에서는 문서의 필드가 중괄호로 묶이고.. 더보기
Azure Cosmos DB Azure CLI란? Azure PowerShell 설명서 Azure 리소스 관리자 템플릿이란? Azure Cosmos DB의 기본 제공 Jupyter 노트북 Azure 프라이빗 엔드포인트란 무엇인가요? Azure 리소스 관리자 템플릿을 사용하여 Azure Cosmos DB Core(SQL) API 리소스 관리 Azure Storage 방화벽 및 가상 네트워크 구성 Azure 포털을 사용하여 Azure 사용자 지정 역할 만들기 또는 업데이트 Azure 포털을 사용하여 Azure 역할 할당 추가 또는 제거 Azure Active Directory란? aZ 코스모스DB 만들기 새-AzCosmosDBAccount Microsoft Azure에서 비관계형 데이터 서비스를 프로비저닝하고 배포하는 방법을 살펴봅니다.. 더보기
MS Azure - cosmoDB 테이블, 블럽 및 파일은 모두 특정 문제를 해결하는 데 도움이 되는 특수 유형의 스토리지입니다. 테이블을 읽고 쓰는 작업은 Blob에 데이터를 저장하거나 파일을 처리하는 작업과는 크게 다릅니다. 이러한 작업을 수행하기 위한 정확한 메커니즘에 대해 걱정할 필요 없이 데이터를 더 쉽게 저장하고 쿼리할 수 있는 보다 일반화된 솔루션이 필요한 경우가 있습니다. 이것이 바로 데이터베이스 관리 시스템의 유용성이 입증되는 부분입니다. 관계형 데이터베이스는 데이터를 관계형 테이블에 저장하지만 세부 조정을 구현하는 데 시간을 소비하지 않는 한 이 모델이 적용하는 구조가 너무 엄격하여 종종 성능이 저하될 수 있습니다. 총칭하여 NoSQL 데이터베이스라고 하는 다른 모델도 있습니다. 이러한 모델은 문서, 그래프, 키-값 저.. 더보기

티스토리툴바