Big Data по полочкам: Data lineage на ZIO и Postgres | Анна Кривицкая | F[Scala] 2025

Как написать собственный Data Lineage для визуализации связей между данными Hadoop кластера и потоками их трансформации на стеке Spark, ZIO, Postgres? В докладе я поделюсь нашим опытом: расскажу, как мы подключали SparkListener, использовали Postgres для обработки графа, находили memory leak в ZIO библиотеке, а также о других вызовах, с которыми столкнулись в процессе. ------------------- Больше о Scala и ФП можно найти в нашем телеграм-канале: https://t.me/scala_verticals Подписывайтесь, чтобы узнать, чем занимаются Scala-команды в Вертикалях и не пропустить наши следующие ивенты.