AWS Kinesis Data Analyticsのモニタリング統合

重要

AWS CloudWatch Metric Streams integration を有効にすると、カスタムネームスペースを含むAWSサービスからのすべてのCloudWatchメトリクスを監視することができます。個別の統合はもはや推奨されるオプションではありません。

当社のインフラ監視統合には、AWS Kinesis Data Analytics のデータを当社製品に報告するための統合があります。この統合を有効にする方法と、どのようなデータを収集するのかについては、こちらをご覧ください。

統合を有効にする

このインテグレーションを有効にするには、標準手順に従い、AWSサービスをInfrastructureに接続します。

設定およびポーリング

設定オプションを使用し、ポーリングの頻度を変更し、データを絞り込むことができます。

デフォルトポーリング AWS Kinesis Data Analyticsインテグレーションの情報です。

New Relicのポーリング間隔：5分
Amazon CloudWatchのデータ間隔：1分

データの検索と使用

Infrastructureで統合データを見つけるには、 one.newrelic.com > Infrastructure> AWS にアクセスし、統合を選択します。

データは、以下のイベントタイプに添付されます。

エンティティ	イベントタイプ	プロバイダー
アプリケーション	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
アプリケーションKpu	`AwsKinesisAnalyticsApplicationSample`	`AwsKinesisAnalyticsApplication`
タスク	`AwsKinesisAnalyticsTaskSample`	`AwsKinesisAnalyticsTask(アウズキネシスアナリティクスタスク)`
タスクオペレータ	`AwSKinessAnalyticsTaskOperatorSample`	`AwsKinesisAnalyticsTaskOperator（アウスキネシスアナリティクスタスクオペレーター`
タスク並列化	`AwsKinesisAnalyticsTaskParallelismSample（アウスキネシスアナリティクスタスクパラレリズムサンプル`	`AwsKinesisAnalyticsTaskParallelism（アウスキネシスアナリティクスタスクパラレリズム`
TaskOperatorの並列化	`AwsKinesisAnalyticsTaskOperatorParallelismSample（アウス・キネシス・アナリティクス・タスクオペレーター・パラレリズム・サンプル`	`AawsKinessisAnalliticsTaskOperatorParallelism`

データの利用方法については、統合データの理解と利用を参照してください。

メトリックデータ

この統合は、Application、ApplicationKpu、Task、TaskOperator、TaskParallelism、TaskOperatorParallelismのAWS Kinesis Data Analyticsデータを収集します。

Kinesis Data Analytics アプリケーションデータ

メトリック	ユニット	説明
`bytesConsumedRate`	BytesPerSecond	トピックの1秒間に消費される平均バイト数。
`コミット失敗`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`cpuUtilization`	パーセント	タスクマネージャー全体のCPU使用率の全体的な割合。たとえば、タスク・マネージャーが5つある場合、Kinesis Data Analyticsはレポート間隔ごとにこのメトリックのサンプルを5つ発行します。
`カレントインプットウォーターマーク`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが受け取った最後のウォーターマーク。
`カレントアウトプットウォーターマーク`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが発する最後のウォーターマーク。
`ダウンタイム`	ミリ秒	現在、故障・復旧中のジョブについては、この停止中に経過した時間。
`fullRestarts`	Count	このジョブが送信されてから完全に再起動した回数の合計。この指標では、きめ細かな再起動は測定されません。
`heapMemoryUtilization`	パーセント	タスク・マネージャ全体のヒープ・メモリ使用率。たとえば、タスク・マネージャが5つある場合、Kinesis Data Analyticsはレポート間隔ごとにこのメトリックのサンプルを5つ発行します。
`lastCheckpointDuration`	ミリ秒	最後のチェックポイントをクリアするのにかかった時間です。
`lastCheckpointSize`	バイト	最後のチェックポイントの合計サイズです。
`numRecordsInPerSecond`	CountPerSecond	このオペレーターやタスクが1秒あたりに受信したレコードの総数です。
`numRecordsOut`	Count	このオペレーターやタスクが放出したレコードの総数です。
`numRecordsOutPerSecond`	CountPerSecond	このオペレーターやタスクが1秒間に放出したレコードの総数。
`失敗したチェックポイントの数`	Count	チェックポインティングが失敗した回数。
`numRecordsIn`	Count	このオペレーターやタスクが受け取ったレコードの総数。
`oldGenerationGcCount`	Count	すべてのタスクマネージャーで発生した古いガベージコレクション操作の合計数。
`oldGenerationGcTime`	ミリ秒	古いガベージコレクションの操作にかかった時間の合計。
`レコードラグマックス`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。
`スレッド数`	Count	アプリケーションが使用しているライブスレッドの総数です。
`アップタイム`	ミリ秒	ジョブが中断されずに実行されていた時間。
`バイト`	バイト	読み込んだバイト数（入力ストリームごと）または書き込んだバイト数（出力ストリームごと）です。
`入力処理.DroppedRecords`	Count	Lambda関数から返されたレコードのうち、Droppedステータスが付けられたレコードの数。
`入力処理の所要時間`	ミリ秒	Kinesis Data Analyticsが実行した各AWS Lambda関数の呼び出しにかかった時間。
`inputProcessing.OkBytes`	Count	Lambda関数で返されたレコードのうち、Okステータスとなったレコードのバイト数の合計。
`入力処理.OkRecords`	Count	Lambda関数で返されたレコードのうち、Okステータスが付けられたレコードの数。
`入力処理.処理失敗レコード`	Count	Lambda関数から返されたレコードのうち、ProcessingFailedステータスが付けられたレコードの数。
`入力処理の成功`	Count	Kinesis Data Analyticsが成功したLambdaの起動数です。
`lambdaDelivery.DeliveryFailedRecords`	Count	Lambda関数で返されたレコードのうち、DeliveryFailedステータスが付けられたレコードの数。
`lambdaDelivery.Duration`	ミリ秒	Kinesis Data Analyticsが実行した各Lambda関数の呼び出しにかかった時間。
`lambdaDelivery.OkRecords`	Count	Lambda関数で返されたレコードのうち、Okステータスが付けられたレコードの数。
`ミリ秒単位の最新情報`	ミリ秒	アプリケーションがストリーミングソースから読み出している時間が、現在の時間からどれだけ遅れているかを示す。
`レコード`	Count	読み込んだレコード数（入力ストリームごと）または書き込んだレコード数（出力ストリームごと）。
`成功`	Count	アプリケーション用に構成された宛先への配信が成功するたびに1、失敗するたびに0。この指標の平均値は、成功した配信の回数を示します。
`bytesRequestedPerFetch`	バイト	getRecordsの1回の呼び出しで要求されたバイト数です。
`コミットメントオフセット`	その他	各パーティションの、Kafkaへの最後の正常なコミットのオフセット。特定のパーティションのメトリックは、トピック名とパーティションIDで指定できます。
`currentOffsets`	その他	各パーティションについて、消費者の現在の読み取りオフセット。特定のパーティションのメトリックは、トピック名とパーティションIDで指定できます。

Kinesis Data Analytics ApplicationKpuデータ

メトリック	ユニット	説明
`KPU`	Count	現在使用されているKinesis Processing Unit (KPU)の数です。既知の問題: この指標は他の指標に比べてラグが長いため、場合によっては表示されないことがある

メトリック

ユニット

説明

KPU

Count

現在使用されているKinesis Processing Unit (KPU)の数です。

既知の問題: この指標は他の指標に比べてラグが長いため、場合によっては表示されないことがある

Kinesis Data Analytics タスクデータ

メトリック	ユニット	説明
`コミット失敗`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`カレントインプットウォーターマーク`	ミリ秒	このタスクが最後に受信した電子透かし。
`カレントアウトプットウォーターマーク`	ミリ秒	現在出力されている電子透かしです。
`numLateRecordsDropped`	Count	このタスクが、遅れて到着したために落とした記録の数。
`numRecordsIn`	Count	このタスクが受け取ったレコードの合計数。
`numRecordsInPerSecond`	CountPerSecond	このタスクが1秒間に受信したレコードの合計数。
`numRecordsOut`	Count	このタスクが放出したレコードの合計数。
`numRecordsOutPerSecond`	CountPerSecond	このタスクが1秒あたりに放出したレコードの合計数。
`レコードラグマックス`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。

Kinesis Data Analytics TaskOperatorデータ

メトリック	ユニット	説明
`bytesConsumedRate`	BytesPerSecond	トピックの1秒間に消費される平均バイト数。
`コミット失敗`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`カレントインプットウォーターマーク`	ミリ秒	このタスクが最後に受信した電子透かし。
`カレントアウトプットウォーターマーク`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが発する最後のウォーターマーク。
`numLateRecordsDropped`	Count	このオペレーターやタスクが、遅刻したために落とした記録の数。
`numRecordsIn`	Count	このタスクが受け取ったレコードの合計数。
`numRecordsInPerSecond`	CountPerSecond	このタスクが1秒間に受信したレコードの合計数。
`numRecordsOut`	Count	このタスクが放出したレコードの合計数。
`numRecordsOutPerSecond`	CountPerSecond	このタスクが1秒あたりに放出したレコードの合計数。
`レコードラグマックス`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。

Kinesis Data Analytics TaskParallelism データ

メトリック	ユニット	説明
`カレントインプットウォーターマーク`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが受け取った最後のウォーターマーク。
`numLateRecordsDropped`	Count	このタスクが、遅れて到着したために落とした記録の数。
`numRecordsIn`	Count	このタスクが受け取ったレコードの合計数。
`numRecordsInPerSecond`	CountPerSecond	このタスクが1秒間に受信したレコードの合計数。
`numRecordsOut`	Count	このタスクが放出したレコードの合計数。
`numRecordsOutPerSecond`	CountPerSecond	このタスクが1秒あたりに放出したレコードの合計数。

Kinesis Data Analytics TaskOperatorParallelismデータ

メトリック	ユニット	説明
`bytesConsumedRate`	BytesPerSecond	トピックの1秒間に消費される平均バイト数。
`コミット失敗`	Count	オフセットコミットとチェックポインティングが有効な場合、Kafkaへのオフセットコミットの失敗の総数。
`commitsSucceeded`	Count	オフセットコミットとチェックポインティングが有効な場合に、Kafkaへのオフセットコミットが成功した総数です。
`カレントインプットウォーターマーク`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが受け取った最後のウォーターマーク。
`カレントアウトプットウォーターマーク`	ミリ秒	このアプリケーション／オペレーター／タスク／スレッドが発する最後のウォーターマーク。
`numRecordsIn`	Count	このオペレーターやタスクが受け取ったレコードの総数。
`numRecordsInPerSecond`	CountPerSecond	このオペレーターやタスクが1秒あたりに受信したレコードの総数です。
`numRecordsOut`	Count	このオペレーターやタスクが放出したレコードの総数です。
`numRecordsOutPerSecond`	CountPerSecond	このオペレーターやタスクが1秒間に放出したレコードの総数。
`レコードラグマックス`	Count	このウィンドウの任意のパーティションのレコード数での最大ラグ。

本書は、お客様のご参考のために原文の英語版を機械翻訳したものです。