記事情報企業

ファイルを直接読み込んで集計する

ファイルを直接読み込んで集計する

こんにちは。マーケティングプロダクト開発部の中村です。今回は大量のデータを対象に集計できる Hive の使い方について説明しようと思います。前提私が所属しているマーケティングプロダクト開発部では広告配信も行っています。その広告配信では大量のアクセスログを蓄積しています。通常ですとそのログは Amazon Redshift で簡単に集計できます。しかし、ログフ...

更新日: 2017-07-15
記事の見出し
  • ファイルを直接読み込んで集計する
  • 前提
  • インストール
  • 集計する前の準備
  • 集計してみる
  • UDF を書いて Hive に組み込む
  • UDF を使って集計する
  • これまでの作業でできるようになったこと
  • まとめ
テックブログ情報
ファイルを直接読み込んで集計する
ブログクックパッド開発者ブログ
ブログ概要
QiitaQiita::cookpad
会社名株式会社クックパッド
会社概要国内6000万MAUのレシピ投稿・検索サービスの『クックパッド』を運営しています
上場情報Yahoo!ファイナンス