Идеальное собеседование Data Engineer в Альфа Банк - Часть 2. ОФФЕР 320к

0:00 — Вступление 0:43 —Вакансии и обязанности 5:24 — Технологии для доступа к данным ( PXF, JDBC Kafka connect, gpss, gpload ) 7:24 — Опыт работы со сессиями Spark 10:10 — Проблемы при работе со Spark 12:30 — Объёмы данных в рамках одного запроса 14:17 — Как ускорить выполнение запроса в Spark 17:33 — Что такое spill в Spark 17:56 — Влияние количества executors на производительность 19:41 — Обработка mapper в Spark 23:24 — Почему ETL процессы создают нагрузку на источник 27:27 — PXF и Greenplum 32:29 — Что такое ETL 34:00 — С какими источниками работают ETL инструменты 34:29 — Работа ETL с файлами 35:07 — Работа ETL с NoSQL 35:27 — Заключение