記事情報殿堂入り

ストリーム処理とは何か?+2016年の出来事

ストリーム処理とは何か?+2016年の出来事

この記事で書いている内容は?ストリーム処理とはそもそも何かからはじまり、必要になる検討ポイントなどの情報を振り返り用にまとめたものです。あとは、今年個人的にこの分野に影響が大きかったと思ったイベントをまとめています。他の方へ説明する際のベースとするためにまとめているため、既にこの分野を知っている方にとっては冗長な内容も多いかもしれませんが、その場合は適宜読み...

更新日: 2016-12-24
記事の見出し
  • ストリーム処理とは何か?+2016年の出来事
  • この記事で書いている内容は?
  • 参照資料
  • ストリーム処理とは何か?
  • 実際、どのようなものをさすのか?
  • どういう用途に使用されているのか?
  • システムはどのような構造を取るのか?
  • バッチ処理とはどう違うのか?
  • ビッグデータの代表的な処理パターン
  • バッチ処理
  • 対話型クエリ
  • ストリーム処理
  • バッチ処理とストリーム処理の違い
  • バッチ処理にはない、どういう新たな困った点があるのか?
  • 何故それで困るのか?
  • 新たな困った点をどうやったら解消できるのか?
  • どのイベント時刻まで処理したかの区切り(Watermark)
  • 集計結果をどのタイミングで出力するかを定義する機構(Trigger)
  • 集計結果出力時の累積計算方式(Accumulation)
  • その対処で全部に対応するのは無理なんじゃないの?
  • 実際のストリーム処理システムってどんなの?
  • システム構成
  • メッセージバス
  • ストリーム処理基盤
  • データ利用先
  • ストリーム処理基盤にはどのようなものがあるのか?
  • ストリーム処理基盤の系譜
  • カテゴリ毎の分類
  • プロダクトの解説(一部)
  • Storm
  • Spark Streaming
  • NiFi
  • Flink
  • Apex
  • Gearpump
  • Beam
  • Google Cloud Dataflow
  • Amazon Kinesis Analytics
  • どれを使えばいいの?
  • ストリーム処理システムを構築する上で気を付けるべきことは?
  • 検討するべきポイント
  • 実際にシステムを組んでみるとどんな場所がボトルネックになるの?
  • ストリーム処理に対する誤解
  • 2016年にストリーム処理で何があったのか?
  • Apache Beamの登場
  • Amazon Kinesis Analyticsの公開
  • 来年どうなると思ってる?
  • まとめ
テックブログ情報
ストリーム処理とは何か?+2016年の出来事
ブログdwango エンジニア ブロマガ
ブログ概要ドワンゴグループのエンジニアが、日々の業務で培った開発ノウハウや裏話などをお届けするブログ(ブロマガ)です。
QiitaQiita::dwango
会社名株式会社ドワンゴ
会社概要