DAG. Във Airflow, DAG – или a Directed Acyclic Graph – е колекция от всички задачи, които искате да изпълнявате, организирани по начин, който отразява техните взаимоотношения и зависимости.
Как правите DAG във въздушния поток?
За да създадете DAG във Airflow, вие винаги трябва да импортирате DAG класа След DAG класа идват импортирането на оператори. По принцип за всеки оператор, който искате да използвате, трябва да направите съответния импорт. Например, ако искате да изпълните функция на Python, трябва да импортирате PythonOperator.
Къде Airflow търси DAG?
Airflow търси във вашата DAGS_FOLDER за модули, които съдържат DAG обекти в своето глобално пространство от имена и добавя обектите, които намира в DagBag.
Как Airflow съхранява DAG?
База данни с метаданни на Apache Airflow:
Базата данни с метаданни съхранява конфигурации, като променливи и връзки Също така съхранява потребителска информация, роли и политики. Накрая, Scheduler анализира всички DAG и съхранява съответните метаданни, като интервали на график, статистически данни от всяко изпълнение и техните задачи.
Airflow инструмент за ETL ли е?
Airflow не е ETL инструмент сам по себе си. Но той управлява, структурира и организира ETL тръбопроводи, използвайки нещо, наречено насочени ациклични графики (DAG). … Базата данни с метаданни съхранява работни потоци/задачи (DAG).