이 부분에서는 데이터 로딩에 대한 일반적인 방법을 계속 설명합니다. Sequel 서버 통합 서비스. SSIS는 엔터프라이즈 수준의 데이터 통합 및 데이터 변환 솔루션을 구축하기 위한 플랫폼입니다. SSIS를 사용하여 파일을 복사 또는 다운로드하고, 데이터 웨어하우스를 로드하고, 데이터를 정리 및 마이닝하고, 후속 데이터베이스 개체 및 데이터를 관리함으로써 복잡한 비즈니스 문제를 해결할 수 있습니다. SSIS는 Microsoft의 일부입니다. 시퀄 서버. SSIS는 XML 데이터 파일, 플랫 파일 및 관계형 데이터 소스와 같은 다양한 소스에서 데이터를 추출 및 변환한 다음 데이터를 하나 이상의 대상으로 로드할 수 있습니다. SSIS에는 다양한 기본 작업 및 변환 세트가 포함되어 있습니다. 패키지를 빌드하는 데 사용할 수 있는 그래픽 도구 세트가 있습니다. 또한 패키지를 저장, 실행 및 관리하는 통합 서비스, 카탈로그 데이터베이스도 포함됩니다. 패키지는 연결, 제어 흐름 요소, 데이터 흐름 요소, 이벤트 핸들러, 변수, 매개 변수 및 구성의 체계적인 컬렉션입니다. 패키지는 Sequel 서버 통합 서비스에서 제공하는 그래픽 디자인 도구를 사용하거나 프로그래밍 방식으로 빌드할 수 있습니다. 그런 다음 완성된 패키지를 Sequel 서버, 통합 서비스 패키지 저장소 또는 파일 시스템에 저장합니다. 그래픽 SSIS를 사용할 수 있습니다. 코드를 한 줄도 작성하지 않고도 솔루션을 만들 수 있는 도구. 또한 광범위한 통합 서비스 개체 모델을 프로그래밍하여 프로그래밍 방식으로 패키지를 만들고 사용자 지정 작업 및 기타 패키지 개체를 코딩할 수 있습니다. SSIS는 온프레미스 유틸리티입니다. 하지만 Azure 데이터 팩토리를 사용하면 기존 SSIS를 실행할 수 있습니다.클라우드 파이프라인의 일부인 패키지 이를 통해 기존 변환 로직을 다시 작성할 필요 없이 빠르게 시작할 수 있습니다. Azure용 SSIS 기능 팩은 Azure 서비스에 연결하고, Azure와 온-프레미스 데이터 원본 간에 데이터를 전송하고, Azure에 저장된 데이터를 처리하는 구성 요소를 제공하는 확장입니다. 기능 팩 지원의 구성 요소는 Azure Storage에서 2 또는 Azure Storage에서 전송되었습니다. Azure Data Lake 및 Azure HD Insight에서는 이러한 구성 요소를 사용하여 수집된 데이터를 대규모로 처리할 수 있습니다. 좋아요. Azure 데이터브릭을 사용하여 데이터를 수집하는 방법을 살펴보겠습니다. Azure 데이터브릭스는 Microsoft에 최적화된 분석 플랫폼입니다. Azure 클라우드 서비스. 플랫폼, 데이터브릭은 대규모 분석을 지원하고 Microsoft와 통합되는 병렬 처리 엔진인 스파크를 기반으로 합니다. Azure는 워크플로를 간소화하고 데이터 과학자, 데이터 엔지니어 및 비즈니스 분석가 간의 협업을 지원하는 대화형 작업 영역을 제공합니다. Databricks는 Azure Blob Storage를 비롯한 다양한 유형의 스토리지에 보관된 데이터를 처리할 수 있습니다. Azure 데이터 레이크 스토어, 하둡 스토리지, 플랫 파일, 시퀄 데이터베이스, 데이터 웨어하우스 및 cosmos DB, databricks와 같은 azure 서비스도 스트리밍 데이터를 처리할 수 있습니다. 예를 들어 센서 및 기타 장치에서 스트리밍되는 데이터를 캡처할 수 있습니다. 노트북을 사용하여 스파크 코드를 작성하고 실행합니다. 노트북은 셀이라는 일련의 단계를 포함하는 프로그램과 같습니다. 노트북에는 하나 이상의 데이터 소스에서 데이터를 읽고, 데이터를 처리하고, 결과를 데이터 저장소에 기록하는 셀이 포함될 수 있습니다. Azure 데이터 브릭은 확장성이 뛰어나 복잡한 데이터 수집 및 분석 작업을 수행하는 데 이상적인 플랫폼입니다. Azure 데이터 팩토리는 Azure 데이터브릭스 노트북을 파이프라인에 통합할 수 있습니다. 파이프라인은 노트북에 매개변수를 전달할 수 있습니다. 이러한 매개변수는 읽고 분석할 데이터를 지정할 수 있습니다. 노트북은 결과를 저장할 수 있으며, Azure 데이터 팩토리 파이프라인은 이 결과를 후속 작업에 사용할 수 있습니다.
