Data

Airflow 마스터 클래스 강의 수강, 개인 공부 후 기록합니다. 공식 문서 확인 Python 오퍼레이터에는 어떤 파라미터에 template 변수를 쓸 수 있는지 알아보고 사용해본다. 먼저 airflow 공식 문서를 확인한다. https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/python/index.html Bash Operator에서 Template 변수 사용에서와 마찬가지로 Parameters, template_fields를 모두 확인한다. templates_dict 파라미터에만 (templated)가 있고 이외에는 없다. template_fields에는 templates_dict 이외에도 op_args, op_..

Airflow 마스터 클래스 강의 수강, 개인 공부 후 기록합니다. Data 관점에서의 날짜 이전 글에서 bashoperator에서 template 변수를 사용해봤다. 그때 사용했던 data_interval_start, data_interval_end가 어떤 값을 나타내는지 이해하려면 먼저 airflow에서의 날짜 개념을 이해해야 한다. DB 테이블이 존재하고 daily ETL 처리를 위한 조회 쿼리가 2023년 2월 25일 0시에 실행된다고 가정할 때, 이 쿼리는 2월 24일 0시 0분 0초 ~ 2월 24일 23시 59분 59초 사이의 데이터를 가져온다. SELECT NAME, ADDRESS FROM TBL_REG WHERE REG_DATE BETWEEN TIMESTAMP('2023-02-24 00:0..

Airflow 마스터 클래스 강의 수강, 개인 공부 후 기록합니다. 공식 문서 확인 Bash 오퍼레이터에는 어떤 파라미터에 template 변수를 쓸 수 있는지 알아보고 사용해본다. 먼저 airflow 공식 문서를 확인한다. https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/bash/index.html bash operator 문서에서 Parameters 부분을 찾는다. 각 파라미터 설명 끝에 (templated)가 있다면 해당 파라미터에 template 변수 사용이 가능하다. 그런데 이것만 보면 안 되고 페이지 밑으로 조금 더 이동하면 template_fields가 나오는데 이 부분도 확인해야 한다. bash ope..