Logo bg.boatexistence.com

Какво представляват дагите във въздушния поток?

Съдържание:

Какво представляват дагите във въздушния поток?
Какво представляват дагите във въздушния поток?

Видео: Какво представляват дагите във въздушния поток?

Видео: Какво представляват дагите във въздушния поток?
Видео: 🤦‍♂️ Далеко от СТО не отъезжать? Можно ли говорить о надёжности Subaru Legacy 5-го поколения? 2024, Може
Anonim

DAG. Във Airflow, DAG – или a Directed Acyclic Graph – е колекция от всички задачи, които искате да изпълнявате, организирани по начин, който отразява техните взаимоотношения и зависимости.

Как правите DAG във въздушния поток?

За да създадете DAG във Airflow, вие винаги трябва да импортирате DAG класа След DAG класа идват импортирането на оператори. По принцип за всеки оператор, който искате да използвате, трябва да направите съответния импорт. Например, ако искате да изпълните функция на Python, трябва да импортирате PythonOperator.

Къде Airflow търси DAG?

Airflow търси във вашата DAGS_FOLDER за модули, които съдържат DAG обекти в своето глобално пространство от имена и добавя обектите, които намира в DagBag.

Как Airflow съхранява DAG?

База данни с метаданни на Apache Airflow:

Базата данни с метаданни съхранява конфигурации, като променливи и връзки Също така съхранява потребителска информация, роли и политики. Накрая, Scheduler анализира всички DAG и съхранява съответните метаданни, като интервали на график, статистически данни от всяко изпълнение и техните задачи.

Airflow инструмент за ETL ли е?

Airflow не е ETL инструмент сам по себе си. Но той управлява, структурира и организира ETL тръбопроводи, използвайки нещо, наречено насочени ациклични графики (DAG). … Базата данни с метаданни съхранява работни потоци/задачи (DAG).

Препоръчано: