Kinesis Producer Libraryとは
Kinesis Client Libraryに付随しているKinesis Producer Library（KPL）を用いることで、Kinesisに容易にデータを投入することが可能となる。KPLを用いることで自動的に複数シャードにデータを投入したり、ユーザレコードを集約してスループットを改善する等が可能となる。複数のレコードを単一のKinesis Recordに集約することで、API呼び出し時に取得できるデータ量が増大させることが可能になるため、より少ないシャード数の用意でデータ量を処理することが可能となる。
またKPLは独立したプロセスで動作しているため、KPLがクラッシュした場合でも他の機能の動作を継続させることが可能である。
Kinesis Producer Libraryを用いたデータ取得処理
パーティションキー
Kinesisへデータを投入する際には、ストリーム名の指定とパーティションキーの指定が必要である。パーティションキーは、複数のシャードの中からストリームを追加するシャードを選択するために使用するキーで、均等にシャードを選択するためにシャード数より十分大きい数を用意する必要がある。AWS SDKに付属しているサンプルプログラムでは、現在時刻（Current Millis）をパーティションキーとして使用している。
long createTime = System.currentTimeMillis();
putRecordRequest.setPartitionKey(String.format("partitionKey-%d", createTime));
リージョンの設定
KPL は Kinesis Client Library と同様に、リージョン指定が無いとデフォルトのバージニア州（us-east-1）が指定されてしまう。サンプルアプリケーションでは以下の設定を変更する必要がある。
kinesis = new AmazonKinesisClient(credentials); kinesis.withRegion(Region.getRegion(Regions.fromName(REGION_NAME)));
なお、KinesisProducerConfigurationはProperyファイルからの設定の読み込みにも対応しているため、Propetyファイルからリージョンを指定することも可能である。
Kinesisへの書き込み
Kinesisへのレコードの書き込みは、Kinesis Producer Libraryを用いる方法の他に以下のような手段もある。
- AWS SDK (Kinesis Stream API)の使用
- Amazon Kinesis エージェントの使用
- fluent-plugin-kinesisの使用