Azure에서 데이터 엔지니어링 시작하기
Azure의 데이터 엔지니어링 소개
- 데이터 엔지니어링이란?
- 중요한 데이터 엔지니어링 개념
- Microsoft Azure의 데이터 엔지니어링
Azure Data Lake Storage Gen2 소개
- Azure Data Lake Storage Gen2 이해
- Azure Storage에서 Azure Data Lake Storage Gen2 사용
- Azure Data Lake Store와 Azure Blob Storage 비교
- 빅 데이터 처리를 위한 단계 이해
- 데이터 분석 워크로드에서 Azure Data Lake Storage Gen2 사용
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 분석 솔루션 빌드
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 레이크의 파일 쿼리
- Azure Synapse 서버리스 SQL 풀 기능 및 사용 사례 이해
- 서버리스 SQL 풀을 사용하여 파일 쿼리
- 외부 데이터베이스 개체 만들기
- 연습 - 서버리스 SQL 풀을 사용하여 파일 쿼리
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 레이크의 데이터 변환
- CREATE EXTERNAL TABLE AS SELECT 문을 사용하여 데이터 파일 변환
- 저장 프로시저에서 데이터 변환 캡슐화
- 파이프라인에 데이터 변환 저장 프로시저 포함
- 연습 - 서버리스 SQL 풀을 사용하여 파일 변환
Azure Synapse Apache Spark 풀을 사용하여 데이터 엔지니어링 수행
Azure Synapse Analytics에서 Apache Spark를 사용하여 데이터 분석
- Apache Spark 알아보기
- Azure Synapse Analytics에서 Spark 사용
- Spark를 사용하여 데이터 분석
- Spark를 사용하여 데이터 시각화
- 연습 - Spark로 데이터 분석
Azure Synapse Analytics에서 Spark를 사용하여 데이터 변환
- 데이터 프레임 수정 및 저장
- 데이터 파일 분할
- SQL을 사용하여 데이터 변환
- 연습: Azure Synapse Analytics에서 Spark를 사용하여 데이터 변환
Azure Synapse Analytics에서 Delta Lake 사용
- Delta Lake 이해
- Delta Lake 테이블 만들기
- 카탈로그 테이블 만들기
- 스트리밍 데이터와 함께 Delta Lake 사용
- SQL 풀에서 Delta Lake 사용
- 연습 - Azure Synapse Analytics에서 Delta Lake 사용
Azure Synapse Analytics 파이프라인을 사용하여 데이터 전송 및 변환
Azure Synapse Analytics에서 데이터 파이프라인 빌드
- Azure Synapse Analytics의 파이프라인 이해
- Azure Synapse Studio에서 파이프라인 만들기
- 데이터 흐름 정의
- 파이프라인 실행
- 연습 - Azure Synapse Analytics에서 데이터 파이프라인 빌드
Azure Synapse 파이프라인에서 Spark Notebook 사용
- Synapse Notebook 및 파이프라인 이해
- 파이프라인에서 Synapse Notebook 작업 사용
- Notebook에서 매개 변수 사용
- 연습 - 파이프라인에서 Apache Spark Notebook 사용
Azure Synapse Analytics를 사용하여 데이터 분석 솔루션 구현
Azure Synapse Analytics 소개
- Azure Synapse Analytics란?
- Azure Synapse Analytics의 작동 방식
- Azure Synapse Analytics를 사용하는 경우
- 연습 - Azure Synapse Analytics 살펴보기
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 레이크의 파일 쿼리
- Azure Synapse 서버리스 SQL 풀 기능 및 사용 사례 이해
- 서버리스 SQL 풀을 사용하여 파일 쿼리
- 외부 데이터베이스 개체 만들기
- 연습 - 서버리스 SQL 풀을 사용하여 파일 쿼리
Azure의 데이터 엔지니어링 소개
- 데이터 엔지니어링이란?
- 중요한 데이터 엔지니어링 개념
- Microsoft Azure의 데이터 엔지니어링
Azure Data Lake Storage Gen2 소개
- Azure Data Lake Storage Gen2 이해
- Azure Storage에서 Azure Data Lake Storage Gen2 사용
- Azure Data Lake Store와 Azure Blob Storage 비교
- 빅 데이터 처리를 위한 단계 이해
- 데이터 분석 워크로드에서 Azure Data Lake Storage Gen2 사용
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 분석 솔루션 빌드
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 레이크의 파일 쿼리
- Azure Synapse 서버리스 SQL 풀 기능 및 사용 사례 이해
- 서버리스 SQL 풀을 사용하여 파일 쿼리
- 외부 데이터베이스 개체 만들기
- 연습 - 서버리스 SQL 풀을 사용하여 파일 쿼리
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 레이크의 데이터 변환
- CREATE EXTERNAL TABLE AS SELECT 문을 사용하여 데이터 파일 변환
- 저장 프로시저에서 데이터 변환 캡슐화
- 파이프라인에 데이터 변환 저장 프로시저 포함
- 연습 - 서버리스 SQL 풀을 사용하여 파일 변환
Azure Synapse Apache Spark 풀을 사용하여 데이터 엔지니어링 수행
Azure Synapse Analytics에서 Apache Spark를 사용하여 데이터 분석
- Apache Spark 알아보기
- Azure Synapse Analytics에서 Spark 사용
- Spark를 사용하여 데이터 분석
- Spark를 사용하여 데이터 시각화
- 연습 - Spark로 데이터 분석
Azure Synapse Analytics에서 Spark를 사용하여 데이터 변환
- 데이터 프레임 수정 및 저장
- 데이터 파일 분할
- SQL을 사용하여 데이터 변환
- 연습: Azure Synapse Analytics에서 Spark를 사용하여 데이터 변환
Azure Synapse Analytics에서 Delta Lake 사용
- Delta Lake 이해
- Delta Lake 테이블 만들기
- 카탈로그 테이블 만들기
- 스트리밍 데이터와 함께 Delta Lake 사용
- SQL 풀에서 Delta Lake 사용
- 연습 - Azure Synapse Analytics에서 Delta Lake 사용
Azure Synapse Analytics 파이프라인을 사용하여 데이터 전송 및 변환
Azure Synapse Analytics에서 데이터 파이프라인 빌드
- Azure Synapse Analytics의 파이프라인 이해
- Azure Synapse Studio에서 파이프라인 만들기
- 데이터 흐름 정의
- 파이프라인 실행
- 연습 - Azure Synapse Analytics에서 데이터 파이프라인 빌드
Azure Synapse 파이프라인에서 Spark Notebook 사용
- Synapse Notebook 및 파이프라인 이해
- 파이프라인에서 Synapse Notebook 작업 사용
- Notebook에서 매개 변수 사용
- 연습 - 파이프라인에서 Apache Spark Notebook 사용
Azure Synapse Analytics를 사용하여 데이터 분석 솔루션 구현
Azure Synapse Analytics 소개
- Azure Synapse Analytics란?
- Azure Synapse Analytics의 작동 방식
- Azure Synapse Analytics를 사용하는 경우
- 연습 - Azure Synapse Analytics 살펴보기
Azure Synapse 서버리스 SQL 풀을 사용하여 데이터 레이크의 파일 쿼리
- Azure Synapse 서버리스 SQL 풀 기능 및 사용 사례 이해
- 서버리스 SQL 풀을 사용하여 파일 쿼리
- 외부 데이터베이스 개체 만들기
- 연습 - 서버리스 SQL 풀을 사용하여 파일 쿼리
