記事情報企業

Kinesis Producer Library(KPL)とfluentdとLambda(Python3)を連携させる(Amazon Linux2版)

Kinesis Producer Library(KPL)とfluentdとLambda(Python3)を連携させる(Amazon Linux2版)

AWS のストリーミングサービス Kinesis には、データ・インジェスションの性能を高め、運用を楽にするKinesis Producer Library(以下 KPL)が存在します。 ユースケース 2016年6月には [...]...

更新日: 2018-02-11
記事の見出し
  • Kinesis Producer Library(KPL)とfluentdとLambda(Python3)を連携させる(Amazon Linux2版)
  • 変更点
  • KPL について
  • KPL の動作確認内容
  • 検証環境
  • 最終形
  • EC2 に IAM Role の設定
  • Kinesis Data Stream の作成
  • Apache のインストール
  • fluentd の設定
  • fluentd のインストール
  • fluentd の Amazon Kinesis プラグインのインストール
  • fluentd 設定ファイルの修正
  • fluentd の設定ファイルのシンタックスチェック
  • flutend の systemd ファイルの変更
  • fluentd の起動
  • Lambda 関数の実装
  • awslabs/kinesis-aggregation で Python Lambda を実装
  • lambda_function.py の中身を抜粋
  • Lambda パッケージ(Zip)化
  • AWSマネージメントコンソールからLambda 関数を登録
  • CLoudWatch Logs から Lambda の実行ログを確認
  • まとめ
  • 参考
テックブログ情報
Kinesis Producer Library(KPL)とfluentdとLambda(Python3)を連携させる(Amazon Linux2版)
ブログAWS/iOS技術者の必読メディア:クラスメソッド株式会社ブログ
ブログ概要AWS/iOS技術者の必読メディア
会社名クラスメソッド株式会社
会社概要AWSプロフェッショナル集団として受託システム開発を行う企業です