본문 바로가기

전체 글

Microsoft Azure에서의 데이터 저장 및 처리 안녕하세요. 이 강의에서는 Microsoft Azure에서의 데이터 저장 및 처리에 대해 알아봅니다. 데이터는 조직 내 여러 위치에 있습니다. 클라우드 데이터 솔루션을 설계할 때는 분석을 위해 원시 데이터를 데이터 저장소에 수집해야 합니다. Azure Synapse Analytics에서 사용할 수 있는 일반적인 접근 방식은 현재 저장된 위치에서 데이터를 추출하는 것입니다. 이 데이터를 분석 데이터 저장소에 로드한 다음, 데이터를 변환하여 분석에 사용할 수 있도록 구성하세요. 이 접근 방식을 추출 로드 및 변환을 위한 ELT라고 합니다. Azure Synapse Analytics는 아파치 스파크와 자동화된 파이프라인을 사용하는 이 접근 방식에 특히 적합합니다. Synapse Analytics는 대규모 데이.. 더보기
데이터 수집 이 부분에서는 데이터 로딩에 대한 일반적인 방법을 계속 설명합니다. Sequel 서버 통합 서비스. SSIS는 엔터프라이즈 수준의 데이터 통합 및 데이터 변환 솔루션을 구축하기 위한 플랫폼입니다. SSIS를 사용하여 파일을 복사 또는 다운로드하고, 데이터 웨어하우스를 로드하고, 데이터를 정리 및 마이닝하고, 후속 데이터베이스 개체 및 데이터를 관리함으로써 복잡한 비즈니스 문제를 해결할 수 있습니다. SSIS는 Microsoft의 일부입니다. 시퀄 서버. SSIS는 XML 데이터 파일, 플랫 파일 및 관계형 데이터 소스와 같은 다양한 소스에서 데이터를 추출 및 변환한 다음 데이터를 하나 이상의 대상으로 로드할 수 있습니다. SSIS에는 다양한 기본 작업 및 변환 세트가 포함되어 있습니다. 패키지를 빌드하는.. 더보기
최신 데이터 웨어하우징을 위한 Azure 데이터 수집 구성 요소 대규모 제조 운영 조직에서 일하는 데이터 엔지니어라면 최신 데이터 웨어하우스를 구성하는 구성 요소에 대해 더 많이 알고 싶을 것입니다. 이 정보는 조직의 요구 사항에 가장 근접하게 부합하는 요소를 결정하는 데 도움이 됩니다. 이 부분에서는 Azure가 제공하는 데이터 서비스에 대해 자세히 알아봅니다. 이러한 서비스를 사용하면 여러 소스의 데이터를 결합하여 분석 모델로 다시 포맷하고 이러한 모델을 저장하여 후속 쿼리, 보고 및 시각화할 수 있습니다. Azure 데이터 팩토리부터 시작해 보겠습니다. Azure 데이터 팩토리는 데이터 통합 서비스로 설명됩니다. Azure Data Factory의 목적은 하나 이상의 데이터 원본에서 데이터를 검색하여 처리하는 형식으로 변환하는 것입니다. 데이터 원본은 다양한 방.. 더보기
Azure Cosmos DB Azure CLI란? Azure PowerShell 설명서 Azure 리소스 관리자 템플릿이란? Azure Cosmos DB의 기본 제공 Jupyter 노트북 Azure 프라이빗 엔드포인트란 무엇인가요? Azure 리소스 관리자 템플릿을 사용하여 Azure Cosmos DB Core(SQL) API 리소스 관리 Azure Storage 방화벽 및 가상 네트워크 구성 Azure 포털을 사용하여 Azure 사용자 지정 역할 만들기 또는 업데이트 Azure 포털을 사용하여 Azure 역할 할당 추가 또는 제거 Azure Active Directory란? aZ 코스모스DB 만들기 새-AzCosmosDBAccount Microsoft Azure에서 비관계형 데이터 서비스를 프로비저닝하고 배포하는 방법을 살펴봅니다.. 더보기
MS Azure - cosmoDB 테이블, 블럽 및 파일은 모두 특정 문제를 해결하는 데 도움이 되는 특수 유형의 스토리지입니다. 테이블을 읽고 쓰는 작업은 Blob에 데이터를 저장하거나 파일을 처리하는 작업과는 크게 다릅니다. 이러한 작업을 수행하기 위한 정확한 메커니즘에 대해 걱정할 필요 없이 데이터를 더 쉽게 저장하고 쿼리할 수 있는 보다 일반화된 솔루션이 필요한 경우가 있습니다. 이것이 바로 데이터베이스 관리 시스템의 유용성이 입증되는 부분입니다. 관계형 데이터베이스는 데이터를 관계형 테이블에 저장하지만 세부 조정을 구현하는 데 시간을 소비하지 않는 한 이 모델이 적용하는 구조가 너무 엄격하여 종종 성능이 저하될 수 있습니다. 총칭하여 NoSQL 데이터베이스라고 하는 다른 모델도 있습니다. 이러한 모델은 문서, 그래프, 키-값 저.. 더보기
dp-900, Lesson3 / Azure Table 스토리지/ Azure 테이블 스토리지는 비SQL 키 값 모델을 구현합니다. 이 모델에서는 항목의 데이터가 필드 집합으로 저장되고 항목은 고유 키로 식별됩니다. Azure Table Storage는 클라우드에 보관되는 확장 가능한 키 값 저장소입니다. Microsoft Azure 스토리지 계정을 사용하여 테이블을 생성합니다. Azure 테이블 저장소 테이블에서 항목을 행이라고 하고 필드를 열이라고 합니다. 하지만 Azure Table Storage 테이블을 관계형 데이터베이스의 테이블과 비슷하다고 생각해서 이 용어로 혼동하지 않도록 하세요.또한 Azure Table을 사용하면 반정형 데이터를 저장할 수 있습니다. 테이블의 모든 행에는 키가 있어야 하지만 그 외에는 각 행의 열이 다를 수 있습니다. 기존 관계형 데이터.. 더보기
dp-900, part2, SQL은 구조적 쿼리 언어의 약자이며 관계형 데이터베이스와 통신하는 데 사용됩니다. 관계형 데이터베이스 관리 시스템의 표준 언어입니다. SQL 문은 데이터베이스의 데이터 업데이트 또는 데이터베이스에서 데이터 검색과 같은 작업을 수행하는 데 사용됩니다.SQL을 사용하는 일반적인 관계형 데이터베이스 관리 시스템 또는 RDBMS로는 Microsoft SQL Server, MySQL, PostgreSQL, MariaDB 및 Oracle이 있습니다. SQL은 1986년에 미국 국립 표준 협회에서, 1987년에는 국제 표준화 기구 (ISO) 에 의해 처음 표준화되었습니다. 그 이후로 관계형 데이터베이스 공급업체가 시스템에 새로운 기능을 추가하면서 표준이 여러 번 확장되었습니다. 또한 대부분의 데이터베이스 공급업체는.. 더보기
dp-900, Azure SQL part2 PostgreSQL 및 MySQL 프로비저닝/ 관계형 데이터 서비스 구성/ PostgreSQL용 Azure 데이터베이스 만들기 MySQL용 Azure 데이터베이스 만들기 Azure 단일 데이터베이스 만들기 Azure SQL 데이터베이스 설명서 PostgreSQL Server 매개 변수 PostgreSQL용 Azure 데이터베이스 - 단일 서버의 PostgreSQL 확장 프로그램 다음을 통해 MySQL용 Azure 데이터베이스에서 서버 매개 변수를 구성하는 방법azure 포털 사용 Azure CLI란? Azure PowerShell 설명서 Azure 리소스 관리자 템플릿이란? Azure 프라이빗 엔드포인트란? SQL 데이터베이스용 Azure Active Directory 인증이란? PostgreSQL용 Azure 데이터베이스 MySQL용 Azure 데이터베이스 Azure 포털을 .. 더보기

티스토리툴바