แดกในกระแสลมคืออะไร?

2024 ผู้เขียน: Fiona Howard | [email protected]. แก้ไขล่าสุด: 2024-01-10 06:43

DAGs. ใน Airflow DAG – หรือ a Directed Acyclic Graph – คือคอลเลกชันของงานทั้งหมดที่คุณต้องการเรียกใช้ โดยจัดระเบียบในลักษณะที่สะท้อนถึงความสัมพันธ์และการพึ่งพาของพวกเขา

คุณสร้าง DAG ใน Airflow ได้อย่างไร

ในการสร้าง DAG ใน Airflow คุณ ต้องนำเข้าคลาส DAG เสมอ หลังจากคลาส DAG ให้นำเข้า Operators มา โดยทั่วไป สำหรับโอเปอเรเตอร์แต่ละรายที่คุณต้องการใช้ คุณต้องทำการอิมพอร์ตที่เกี่ยวข้อง ตัวอย่างเช่น คุณต้องการรันฟังก์ชัน Python คุณต้องนำเข้า PythonOperator

กระแสลมมองหา DAG ที่ไหน

การไหลของอากาศจะอยู่ใน DAGS_FOLDER ของคุณสำหรับโมดูลที่มีวัตถุ DAG ในเนมสเปซส่วนกลางและเพิ่มวัตถุที่พบใน DagBag

กระแสลมเก็บ DAG อย่างไร

ฐานข้อมูลเมตาดาต้าของ Apache Airflow:

ฐานข้อมูลเมตาดาต้าจัดเก็บการกำหนดค่า เช่นตัวแปรและการเชื่อมต่อ นอกจากนี้ยังจัดเก็บข้อมูลผู้ใช้ บทบาท และนโยบายอีกด้วย สุดท้าย ตัวจัดกำหนดการจะแยกวิเคราะห์ DAG ทั้งหมดและจัดเก็บข้อมูลเมตาที่เกี่ยวข้อง เช่น ช่วงเวลาของกำหนดการ สถิติจากการรันแต่ละครั้ง และงานของพวกมัน

การไหลของอากาศเป็นเครื่องมือ ETL หรือไม่

กระแสลมไม่ใช่เครื่องมือ ETL ต่อตัว แต่จัดการ โครงสร้าง และจัดระเบียบไปป์ไลน์ ETL โดยใช้สิ่งที่เรียกว่า Directed Acyclic Graphs (DAGs) … ฐานข้อมูลเมทาดาทาเก็บเวิร์กโฟลว์/งาน (DAG)