記事情報企業

DynamoDBへ大量インポートするときはHASHキーを分散させると高速化する

DynamoDBへ大量インポートするときはHASHキーを分散させると高速化する

akiyanです。アンサーの大量のコメントデータをAWSのKVSサービスである DynamoDB にインポートしようとして、スループットを出しきるためにやったことを紹介します。 5000万件のインポートに1週間以上かかっ... もっと読む »...

更新日: 2014-12-25
記事の見出し
  • DynamoDBへ大量インポートするときはHASHキーを分散させると高速化する
  • 5000万件のインポートに1週間以上かかってしまう
  • 同じHASHへの書き込みはブロックされる
  • Data Pipeline は書き込みブロックを想定せず消費スループットを計算する
  • 5000万件のMySQLに入ったコメントデータを低コストでHASH分散させる方法
テックブログ情報
DynamoDBへ大量インポートするときはHASHキーを分散させると高速化する
ブログnanapi TechBlog
ブログ概要株式会社nanapiが運営する技術情報発信ブログです。
QiitaQiita::nanapi
会社名株式会社nanapi
会社概要ライフレシピ共有サービスの『nanapi』は2015年スケールアウトとビットセラーと合併しSupershipになりました