Apache Airflow

Apache Airflow
Логотип программы Apache Airflow
Тип проект Фонда Apache[вд] и Python-библиотека[вд]
Разработчик Apache Software Foundation
Написана на Python[2]
Последняя версия 3.2.0 (07 апреля 2026)
Тестовая версия
Репозиторий github.com/apache/airflow
Лицензия Apache License 2.0[3] и лицензия Apache
Сайт airflow.apache.org (англ.)
Логотип Викисклада Медиафайлы на Викискладе

Apache Airflow — открытое программное обеспечение для создания, выполнения, мониторинга и оркестрации потоков операций по обработке данных.

Изначально разработан в Airbnb в октябре 2014 году[4][5]. В марте 2016 года стал проектом Apache Incubator, в январе 2019 года — проектом верхнего уровня Apache Software Foundation.

Написан на Python, потоки операций и зависимости между ними кодируются также на Python по принципу «конфигурация как код» (в отличие от таких систем, как Oozie и Azkaban, использующих файлы конфигурации[6]). Для оркестровки потоков операций используется представление в виде направленного ациклического графа (DAG); собранная в граф группа операций может запускаться либо по определённому расписанию (например, ежечасно или ежедневно), либо по событию (например, появлению файла в Hive[7]).

Airflow по подписке предоставляется многими публично-облачными провайдерами, в том числе Google Cloud Platform (Cloud Composer)[8], Amazon Web Services (с ноября 2020 года)[9] и Yandex Cloud (с сентября 2023 года)[10].

Примечания

  1. ↑ Release Notes
  2. ↑ https://github.com/EvanLi/Github-Ranking/blob/master/Data/github-ranking-2025-07-06.csv — 2025.
  3. ↑ https://airflow.incubator.apache.org/license.html
  4. ↑ Apache Airflow. Apache Airflow. Дата обращения: 30 сентября 2019. Архивировано 12 августа 2019 года.
  5. ↑ Airflow. Дата обращения: 30 сентября 2019. Архивировано 6 июля 2019 года.
  6. ↑ AirflowProposal. Apache Software Foundation (28 марта 2019). Дата обращения: 1 октября 2019. Архивировано 7 апреля 2022 года.
  7. ↑ Trencseni, Marton. Обзор Airflow. BytePawn (16 января 2016). Дата обращения: 1 октября 2019. Архивировано 28 февраля 2019 года.
  8. ↑ -automation-tool-for-developers/ Google запускает Cloud Composer, новый инструмент автоматизации рабочих процессов для разработчиков (англ.). TechCrunch. Дата обращения: 18 сентября 2019.
  9. ↑ -airflow-mwaa/ Введение в управляемые рабочие процессы Amazon для Apache Airflow (MWAA) (англ.) (недоступная ссылка — -airflow-mwaa/ история). Amazon Web Services (24 ноября 2020). Дата обращения: 17 декабря 2020.
  10. ↑ Новый сервис Yandex Managed Service for Apache Airflow. Yandex Cloud (26 сентября 2023). Дата обращения: 19 января 2024. Архивировано 19 января 2024 года.

Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.