記事情報殿堂入り企業

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築

Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築

わーい!コンテナたのしー!🐾こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速くクロールするこ...

更新日: 2017-03-17
記事の見出し
  • Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築
  • 問題解決手段の検討 -> コンテナ採用
  • 刷新のモチベーション2016
  • 改修箇所の選定
  • アプリケーション2016
  • 実行環境2016
  • コンテナの採用
  • コンテナ採用 -> オーケストレーションツール決定
  • オーケストレーションツール
  • オーケストレーションツールの比較検討
  • 補足: ホストインスタンスのスケーリングにクラスタが追従する
  • Marathon
  • Apache Mesos
  • Marathonの役割
  • fetch機能
  • オーケストレーションツール決定 -> クラスタ完成
  • 全体構成
  • アプリケーションのデプロイ
  • コンテナ数のコントロール
  • DaemonSetの更新
  • コンテナイメージの更新
  • 刷新の効果
  • まとめ
テックブログ情報
Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築
ブログVASILY DEVELOPERS BLOG
ブログ概要
QiitaQiita::vasily
会社名株式会社VASILY
会社概要ファッションアプリ『IQON』を提供するテック企業