Потоковый и пакетный ETL для PostgreSQL с коннекторами Kafka и A
На онлайн-конференции Systems Design 2024 Анна Вичугова, эксперт в области проектирования информационных систем, представила доклад, в котором подробно рассматриваются ключевые компоненты ETL, демонстрируются примеры реализации пакетного ETL с использованием AirFlow и потокового ETL с Debezium-коннектором Kafka, а также даны рекомендации по проектированию эффективных ETL-конвейеров. 00:00 О докладе 01:20 О спикере 02:50 Всё - это ETL, ETL - это всё 06:35 Ключевые компоненты ETL 09:55 Пример пакетного ETL для PostgreSQL с AirFlow 28:14 Пример потокового ETL для PostgreSQL с Debezium-коннектором Kafka 44:51 Рекомендации по проектированию ETL-конвейеров 📌 ПОДПИСАТЬСЯ НА Systems Education: ➛Официальный сайт: https://systems.education/ ➛VK https://vk.com/sys_education ➛Telegram - Новости Systems Education и расписание курсов https://t.me/systems_education ➛Telegram - Анонсы событий по системному анализу: https://t.me/itsysdes_events ➛Telegram - Как стать системным аналитиком: http://t.me/kak_stat_SA