Потоковая обработка больших данных — эталонная архитектура сервиса из компонентов со 100% открытым исходным кодом, готового к развертыванию в облаках, с масштабируемостью и надежностью уровня предприятия (Антон Овчинников, SECR-2016) — различия между версиями

;{{SpeakerInfo}};Докладчик: {{Speaker|Антон Овчинников™}}
<blockquote>
«Потоковая Обработка Событий» — это новый подход к построению систем обработки больших данных практически в реальном времени. Потребность в таких системах растет при решении многих задач, например, аналитики потока кликов, проактивном обслуживании оборудования, обнаружении фрода. Степень зрелости проектов с открытым кодом позволяет создать сервис Потоковой Обработки Событий собственными силами. Однако мир открытого кода изобилует конкурирующими проектами разной степени зрелости и с разными перспективами. Поэтому задача выбора действенных и эффективных компонент не так проста. В докладе я покажу эталонную архитектуру сервиса Потоковой Обработки Событий, масштабируемую и надежную, построенную на основе компонент только с открытым кодом.

Версия 13:52, 22 декабря 2016

Докладчик

Антон Овчинников™

«Потоковая Обработка Событий» — это новый подход к построению систем обработки больших данных практически в реальном времени. Потребность в таких системах растет при решении многих задач, например, аналитики потока кликов, проактивном обслуживании оборудования, обнаружении фрода. Степень зрелости проектов с открытым кодом позволяет создать сервис Потоковой Обработки Событий собственными силами. Однако мир открытого кода изобилует конкурирующими проектами разной степени зрелости и с разными перспективами. Поэтому задача выбора действенных и эффективных компонент не так проста. В докладе я покажу эталонную архитектуру сервиса Потоковой Обработки Событий, масштабируемую и надежную, построенную на основе компонент только с открытым кодом.

Что Вы узнаете?

• Концептуальную архитектуру Потоковой Обработки Событий.
• Эталонную архитектуру построенную на Apache Kafka, Spark Streaming, Cassandra и Redis.
• Обзор методов создания конфигурации, обеспечивающие надежность и масштабируемость для каждого элемента архитектуры.

Доклад будет интересен разработчикам, архитекторам и техническим менеджерам, кто уже работает в проектах по обработке больших данных в практически реальном времени, думает об использовании такого подхода или просто интересуется этой темой.

Видео

Презентация

Примечания и ссылки

• Страничка доклада на сайте конференции