Никита Юрасов, Леонид Кожинов — От хайпа до продакшена: data mesh на Airflow + dbt

Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта SmartData — https://jrg.su/MnC8LZ Обещанного три года ждут, а toloka.ai опережает поставленные сроки: год назад спикеры рассказывали про подход к интеграции dbt и Airflow (https://www.youtube.com/watch?v=u8LkCBVKKus&ab_channel=SmartData), а теперь делятся библиотекой, которую выложили в open source. Эта библиотека позволяет интегрировать dbt — относительно новый, но уже достаточно популярный инструмент для описания трансформаций и Airflow — известный всем оркестратор ETL-процессов. Доклад состоит из трех частей: — Как все устроено, при чем тут data mesh, dbt и Airflow. — Анализ конкурентов, которых у библиотеки dbt-af не так много. — Насколько удобно dbt-af позволяет решать поставленные перед ней задачи. Доклад, как и инструмент, будет полезен: — DWH-командам, которые устали от гнета аналитиков; — аналитикам, которые устали от медлительности DWH; — всем, кому интересна практическая реализация data mesh с помощью доступных всем инструментов. Библиотека: https://github.com/Toloka/dbt-af