Андрей Серебрянский — Exactly once в Kafka: как все сломать (и починить)

Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — Скачать презентацию с сайта JPoint — https://jrg.su/WVbKfq Последний год в YDB Topics реализовывали транзакции над топиками. В процессе они очень много смотрели на то, как это сделано в Kafka и какие там есть недостатки. Изысканиями спикер решил поделиться с вами. В докладе разобрали: — как выстрелить себе в ногу, используя голые транзакции Kafka; — что может сломаться само по себе в Kafka-транзакциях; — как с этим могут помочь Kafka Streams и Apache Flink, что из них лучше для exactly once; — как загрузить данные в Kafka или выгрузить из нее ровно один раз. В начале — краткий экскурс в то, зачем нам обрабатывать сообщения ровно один раз и как в целом работают транзакции в Kafka.