>
>
>
>
Apache Airflow 기반의 데이터 파이프라인 : 에어플로 중심의 워크플로 구축에서 커스텀 컴포넌트 개발및 배포,관리까지
제이펍의 클라우드1 ㅣ 바스 하렌슬락, 김정민 ㅣ 제이펍 ㅣ Data Pipelines with Apache Airflow
  • 정가
36,000원
  • 판매가
32,400원 (10% ↓, 3,600원 ↓)
  • 발행일
2022년 03월 16일
  • 페이지수/크기/무게
512page/188*245*29/966g
  • ISBN
9791191600681/1191600688
  • 배송비
무료배송
  • 배송예정일
08/17(수) 배송완료예정
  • 현 보유재고
100 권 이상
  • 주문수량
  • 바로구매 북카트담기
  • 제휴몰 주문 시 고객보상, 일부 이벤트 참여 및 증정품 증정, 하루/당일 배송에서 제외되므로 참고 바랍니다.
  • 시리즈 도서
제이펍의 클라우드(총14건)
러닝 스파크 : 아파치 스파크를 이용한 데이터 분석 및 머신러닝 알고리즘     27,000원 (10%↓)
AWS로 시작하는 인프라 구축의 정석 : 견고한 엔터프라이즈 프로덕션 환경을 만들고 지키는 법     25,200원 (10%↓)
테라폼 설치에서 운영까지(Terraform Up&Running) : 국내 최초 테라폼 입문서! | 테라폼 0.11x 대응     20,700원 (10%↓)
몽고디비 인 액션 : 빅데이터 시대 최고의 NoSQL 데이터베이스     29,700원 (10%↓)
빠른 서버리스 앱 개발을 위한 AWS Lambda 인 액션     25,200원 (10%↓)
  • 상세정보
  • Airflow 설치부터 파이프라인 작성, 테스트, 분석, 백필 그리고 배포 및 관리까지를 한 권으로 해결! 이 책은 효과적인 데이터 파이프라인을 만들고 유지하는 방법을 설명하고 있으며, 이를 통해 여러분은 다양한 데이터 소스의 집계, 데이터 레이크와의 연결 및 클라우드 배포를 포함해서 가장 일반적인 사용법을 확인할 수 있습니다. 각 장의 설명과 튜토리얼 형태의 실용적인 가이드를 통해, Airflow를 구동하는 방향성 비순환 그래프(DAG)의 모든 내용과 요구사항에 맞게 파이프라인을 커스터마이징하는 방법을 다룹니다. 이 책은 중급 이상의 파이썬 스킬을 보유한 데브옵스 엔지니어, 데이터 엔지니어, 머신러닝 엔지니어, 그리고 시스템 관리자를 위한 책입니다. 주요 내용 ■ Airflow 파이프라인을 DAG로 빌드하고 테스트하여 배포하는 방법 ■ 데이터 이동 및 변환을 자동화하는 방법 ■ 백필을 사용하여 과거 이력 데이터셋을 분석하는 방법 ■ 커스텀 컴포넌트의 개발 방법 ■ 운영 환경에서의 Airflow 구성 방법
  • 옮긴이 머리말 xiii 번역서 추천사 xv 베타리더 후기 xvii 원서 추천사 xix 시작하며 xx 감사의 글 xxii 이 책에 대하여 xxiv 표지에 대하여 xxviii PART I 기본편 CHAPTER 1 Apache Airflow 살펴보기 3 1.1 데이터 파이프라인 소개 4 1.1.1 데이터 파이프라인 그래프 4 1.1.2 파이프라인 그래프 실행 6 1.1.3 그래프 파이프라인과 절차적 스크립트 파이프라인 비교 7 1.1.4 워크플로 매니저를 이용한 파이프라인 실행 9 1.2 Airflow 소개 10 1.2.1 파이썬 코드로 유연한 파이프라인 정의 10 1.2.2 파이프라인 스케줄링 및 실행 11 1.2.3 모니터링과 실패 처리 13 1.2.4 점진적 로딩 및 백필 16 1.3 언제 Airflow를 사용해야 할까 16 1.3.1 Airflow를 선택하는 이유 17 1.3.2 Airflow가 적합하지 않은 경우 17 1.4 이후 내용 18 요약 19 CHAPTER 2 Airflow DAG의 구조 20 2.1 다양한 소스에서 데이터 수집 21 2.1.1 데이터 탐색 21 2.2 첫 번째 Airflow DAG 작성 23 2.2.1 태스크와 오퍼레이터 차이점 27 2.2.2 임의 파이썬 코드 실행 27 2.3 Airflow에서 DAG 실행하기 30 2.3.1 파이썬 환경에서 Airflow 실행 30 2.3.2 도커 컨테이너에서 Airflow 실행...
  • 이 책은 데이터 파이프라인을 처리하기 위한 배치 태스크에 중심을 둔 Apache Airflow에 초점을 맞추고 있습니다. Airflow의 주요 기능은 유연한 파이썬 프레임워크를 사용해 쉽게 데이터 파이프라인을 구축할 수 있게 해 주며, 최신 기술 환경에서 접하게 되는 서로 다른 기술들을 연결할 수 있는 다양한 빌딩 블록을 제공하는 것입니다. _3쪽 Airflow는 파이썬 스크립트로 DAG의 구조를 설명하고 구성합니다(DAG 파일 안에 파이썬 코드를 사용하여 DAG를 정의함). 따라서 일반적으로 각 DAG 파일은 주어진 DAG에 대한 태스크 집합과 태스크 간의 의존성을 기술하고, Airflow는 DAG 구조를 식별하기 위해 코드를 파싱(parsing)합니다(표지 뒷날개 그림 참고). _10쪽 Airflow를 사용하면 임의의 시작 날짜로부터 스케줄 간격을 정의할 수 있으므로 과거의 시작 날짜부터 과거 간격을 정의할 수도 있습니다. 이 속성을 사용하여 과거 데이터 세트를 로드하거나 분석하기 위해 DAG의 과거 기록을 실행할 수 있습니다. 이 프로세스를 일반적으로 백필(backfilling)이라고 합니다. _56쪽 모든 오퍼레이터 인수가 템플릿이 될 수 있는 것은 아닙니다. 모든 오퍼레이터는 템플릿으로 만들 수 있는 속성의 허용 리스트를 유지합니다. 기본적으로 {{name}} 문자열은 Jinja에서 템플릿 가능한 속성 리스트에 포함되지 않으면 {{name}} 그대로 문자열로 해석됩니다. 이 리스트는 모든 오퍼레이터의 template_fields 속성에 의해 설정됩니다. _67쪽 트리거 규칙은 태스크의 의존성 기능(= DAG 안에서 선행 태스크 조건)과 같이 Airflow가 태스크가 실행 준비가 되어 있는지 여부를 결정하기 위한 필수적인 조건입니다. Airflow의 기본 트리거 규칙은 all_success이며, 태스크를 실행하려면 모든 의존적인 태스크가 모두 성공적으로 완료되어야 함을 의미합니다. _103쪽 태스크는 결정적(deterministic)일 때만 재현할 수 있습니다. 즉, 태스크는 주어진 입력에 대해 항상 동일한 출력을 반환해야 합니다. 대조적으로, 비결정적(nondeterministic) 태스크는 동일한 입력 데이터에 대해서도 실행할 때마다 다른 결과를 제공할 수 있으므로 재현 가능한 DAG를 구현할 수 없습니다. _289쪽
  • 바스 하렌슬락 [저]
  • 네덜란드 암스테르담에 위치한 데이터 기반 솔루션을 개발하는 GoDataDriven의 데이터 엔지니어다. 소프트웨어 공학과 컴퓨터 과학에 대한 지식이 많은 그는 소프트웨어 개발이나 데이터 작업을 마치 어려운 퍼즐을 푸는 것처럼 즐겁게 한다. 오픈 소스 소프트웨어 작업을 선호하며, Apache Airflow 프로젝트의 기여자이자 암스테르담 Airflow 모임의 공동 주최자다.
  • 김정민 [저]
  • 분산 처리 기술을 이용한 음악과 영상 서비스의 스트리밍 솔루션 개발자로 출발해, 20년간 대기업과 스타트업에서 서비스를 운영해 왔다. 또한, 클라우드 기술 등장 후에는 다양한 프로젝트에서 클라우드 아키텍트, 데이터 엔지니어, MLOps 엔지니어 업무를 수행했다. 현재는 프롭테크 스타트업에서 새로운 모험에 도전하고 있다.
  • 전체 0개의 구매후기가 있습니다.

인터파크도서는 고객님의 단순 변심에 의한 교환과 반품에 드는 비용은 고객님이 지불케 됩니다.
단, 상품이나 서비스 자체의 하자로 인한 교환 및 반품은 무료로 반품 됩니다.
교환 및 반품이 가능한 경우
상품을 공급 받은 날로부터 7일이내 가능
공급받으신 상품의 내용이 표시, 광고 내용과 다르거나 다르게 이행된 경우에는 공급받은 날로부터 3개월 이내,
   혹은 그사실을 알게 된 날 또는 알 수 있었던 날로부터 30일 이내
상품에 아무런 하자가 없는 경우 소비자의 고객변심에 의한 교환은 상품의 포장상태 등이 전혀 손상되지 않은 경우에 한하여 가능
교환 및 반품이 불가능한 경우
구매확정 이후(오픈마켓상품에 한함)
고객님의 책임 있는 사유로 상품 등이 멸실 또는 훼손된 경우
   (단, 상품의 내용을 확인하기 위하여 포장 등을 훼손한 경우는 제외)
시간이 지남에 따라 재판매가 곤란할 정도로 물품의 가치가 떨어진 경우
포장 개봉되어 상품 가치가 훼손된 경우
다배송지의 경우 반품 환불
다배송지의 경우 다른 지역의 반품을 동시에 진행할 수 없습니다.
1개 지역의 반품이 완료된 후 다른 지역 반품을 진행할 수 있으므로, 이점 양해해 주시기 바랍니다.
중고상품의 교환
중고상품은 제한된 재고 내에서 판매가 이루어지므로, 교환은 불가능합니다.
오픈마켓 상품의 환불
오픈마켓상품에 대한 책임은 원칙적으로 업체에게 있으므로, 교환/반품 접수시 반드시 판매자와 협의 후 반품 접수를 하셔야하며,
   반품접수 없이 반송하거나, 우편으로 보낼 경우 상품 확인이 어려워 환불이 불가능할 수 있으니 유의하시기 바랍니다.
배송예정일 안내
인터파크 도서는 모든 상품에 대해 배송완료예정일을 웹사이트에 표시하고 있습니다.
<인터파크 직배송 상품>
상품은 월~토요일 오전 10시 이전 주문분에 대하여 당일 출고/당일 배송완료를 보장하는 상품입니다.
상품은 서울지역/평일 주문분은 당일 출고/익일 배송완료를 보장하며,
서울외지역/평일 주문분의 경우는 오후 6시까지 주문분에 대하여 익일 배송완료를 보장하는 상품입니다.
(단, 월요일은 12시까지 주문에 한함)
상품은, 입고예정일(제품출시일)+택배사배송일(1일)에 배송완료를 보장합니다.
~ 상품은 유통특성상 인터파크에서 재고를 보유하지 않은 상품으로
주문일+기준출고일+택배사배송일(1일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.)
※기준출고일:인터파크가 상품을 수급하여 물류창고에서 포장/출고하기까지 소요되는 시간
<업체 직접배송/오픈마켓 상품>
~ 상품은 업체가 주문을 확인하고, 출고하기까지 걸리는 시간입니다.
주문일+기준출고일+택배사배송일(2일)에 배송완료를 보장합니다.(토/공휴일은 배송기간에 포함되지 않습니다.)
※5일이내 출고가 시작되지 않을시, 오픈마켓 상품은 자동으로 주문이 취소되며, 고객님께 품절보상금을 지급해 드립니다.
배송비 안내
도서(중고도서 포함)만 구매하시면 : 배송비 2,000원 (1만원이상 구매 시 무료배송)
음반/DVD만 구매하시면 : 배송비 1,500원 (2만원이상 구매 시 무료배송)
잡지/만화/기프트만 구매하시면 : 배송비 2,000원 (2만원이상 구매 시 무료배송)
도서와 음반/DVD를 함께 구매하시면 : 배송비 1,500원 1만원이상 구매 시 무료배송)
도서와 잡지/만화/기프트/중고직배송상품을 함께 구매하시면 : 2,000원 (1만원이상 구매 시 무료배송)
업체직접배송상품을 구매시 : 업체별로 상이한 배송비 적용

   * 세트상품의 경우 부분취소 시 추가 배송비가 부과될 수 있습니다.
   * 북카트에서 배송비없애기 버튼을 클릭하셔서, 동일업체상품을 조금 더 구매하시면, 배송비를 절약하실 수 있습니다.
해외배송 안내
인터파크도서에서는 국내에서 주문하시거나 해외에서 주문하여 해외로 배송을 원하실 경우 DHL과 특약으로 책정된 요금표에
   의해 개인이 이용하는 경우보다 배송요금을 크게 낮추며 DHL(www.dhl.co.kr)로 해외배송 서비스를 제공합니다.
해외배송은 도서/CD/DVD 상품에 한해 서비스하고 있으며, 다른 상품을 북카트에 함께 담으실 경우 해외배송이 불가합니다.
해외주문배송 서비스는 인터파크 도서 회원 가입을 하셔야만 신청 가능합니다.
알아두세요!!!
도매상 및 제작사 사정에 따라 품절/절판 등의 사유로 취소될 수 있습니다.
오픈마켓업체의 배송지연시 주문이 자동으로 취소될 수 있습니다.
출고가능 시간이 서로 다른 상품을 함께 주문할 경우 출고가능 시간이 가장 긴 기준으로 배송됩니다.
유통의 특성상 출고기간은 예정보다 앞당겨지거나 늦춰질 수 있습니다.
택배사 배송일인 서울 및 수도권은 1~2일, 지방은 2~3일, 도서, 산간, 군부대는 3일 이상의 시간이 소요됩니다.
  • 0개
  • 0개