Анализ логов с использованием графических процессоров со скоростью 100 ГБ/с в Graphistry | Лео Ме...

От безопасности и борьбы с мошенничеством до продаж и маркетинга — быстрое понимание взаимосвязей в больших файлах журналов важно, но сложно. Развитие облачных вычислений на графических процессорах изменило практические подходы, поэтому последние 4 года стартап Graphistry, занимающийся визуальными вычислениями, совместно с Nvidia и другими стартапами работает над RAPIDS, экосистемой вычислений на графических процессорах, которая использует общее ядро из фреймов данных для графических процессоров. Библиотека dask-cudf призвана обеспечить большую скорость и масштабируемость за счет многопроцессорного ускорения и обработки данных вне оперативной памяти. Однако на практике использование dask-cudf может быть сложным, и одна из основных причин заключается в том, что затраты на неравномерный доступ к памяти (NUMA) могут быстро свести на нет любые потенциальные преимущества такого подхода. В этом докладе мы поделимся опытом Graphistry в переходе от стека RAPIDS для анализа логов и графов в оперативной памяти на одном графическом процессоре (cudf, cugraph, cuml, blazingsql и наши собственные слои) к многопроцессорной обработке и обработке больших объемов данных, превышающих объем оперативной памяти, с помощью dask-cudf. Сначала мы рассмотрим пример решения задачи Splunk «Босс SOC»: масштабирование интерактивного визуального анализатора логов Streamlit/Jupyter позволило перейти от обработки 2 ГБ логов в cudf на одном графическом процессоре к обработке 300 ГБ в dask_cudf на восьми графических процессорах. Это было сложно с точки зрения производительности и архитектуры. Проблема заключалась в обработке конфликтов планирования NUMA, связанных с многопроцессорными задачами и задачами, превышающими объем оперативной памяти. Мы рассмотрим: * Простую версию для одной видеокарты * Простую версию для нескольких видеокарт * Оптимизацию чтения из оперативной памяти с помощью GDS * Оптимизацию чтения из оперативной памяти с помощью параллельного ввода-вывода с поддержкой NUMA. Это фундаментальные концепции программирования dask-cudf, которые помогут предотвратить замедление работы dask по сравнению с другими решениями и, в идеале, приблизиться к производительности, на которую способны ваши аппаратные ресурсы. Во-вторых, с точки зрения производственной среды, мы поделимся нашими 10 главными уроками по внедрению dask-cudf. Это то, о чём нам, как правило, хотелось бы узнать из первых рук. Это касается архитектуры, отладки и настройки до эксплуатации. Многие основы dask-cudf в настоящее время не документированы или находятся в активной разработке, поэтому этот доклад должен помочь командам упростить свой путь. Саммит Dask Distributed — это место, где пользователи, участники и новички могут обмениваться опытом, учиться друг у друга и расти вместе. Dask Distributed Summit предоставляет контент, информацию и возможности обучения для участников с любым уровнем знакомства с Dask и опытом работы с ним. Подробнее см. на сайте: https://summit.dask.org/