Мария Бученкова, Владимир Седельников — Обработка со?
Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта SmartData — https://jrg.su/rI2rVi Невозможность использовать ставшие привычными сервисы обработки данных, в нашем случае Google Analytics, послужила отправной точкой на пути поиска, адаптации и развития альтернативных способов собирать данные о потребителях. Спикеры отдали предпочтение Snowplow — open source альтернативе с широкой функциональностью, однако в исходном варианте Snowplow не приспособлен для работы с Hadoop. Мария и Владимир рассказали, как написали собственную обработку событий на Spark, накапливая данные в HDFS и загружая обработанные события в ClickHouse для аналитики. Описали, с какими проблемами столкнулись при разработке и какой опыт приобрели при использовании dbt-репозиториев от Snowplow. Будет полезно компаниям, которые ищут доступные средства для сбора и обработки данных, поступающих от ПК и мобильных устройств пользователей.
Подробнее о конференции SmartData: https://jrg.su/aTWU2K — — Скачать презентацию с сайта SmartData — https://jrg.su/rI2rVi Невозможность использовать ставшие привычными сервисы обработки данных, в нашем случае Google Analytics, послужила отправной точкой на пути поиска, адаптации и развития альтернативных способов собирать данные о потребителях. Спикеры отдали предпочтение Snowplow — open source альтернативе с широкой функциональностью, однако в исходном варианте Snowplow не приспособлен для работы с Hadoop. Мария и Владимир рассказали, как написали собственную обработку событий на Spark, накапливая данные в HDFS и загружая обработанные события в ClickHouse для аналитики. Описали, с какими проблемами столкнулись при разработке и какой опыт приобрели при использовании dbt-репозиториев от Snowplow. Будет полезно компаниям, которые ищут доступные средства для сбора и обработки данных, поступающих от ПК и мобильных устройств пользователей.