重要
AWS CloudWatch Metric Streams integration を有効にすると、カスタムネームスペースを含むAWSサービスからのすべてのCloudWatchメトリクスを監視することができます。個別の統合はもはや推奨されるオプションではありません。
New Relic では、 AWS Glue のデータをレポートするための統合を提供しています。このドキュメントでは、この統合を有効にする方法と、レポート可能なデータについて説明します。
統合を有効にする
このインテグレーションを有効にするには、標準手順に従い、AWSサービスをNew Relicに接続します。
設定およびポーリング
設定オプションを使用し、ポーリングの頻度を変更し、データを絞り込むことができます。
デフォルト ポーリング AWS Glueインテグレーションの情報です。
- New Relicのポーリング間隔:5分
- Amazon CloudWatchのデータ間隔:1分
データの検索と使用
統合データを探すには、 one.newrelic.com > Infrastructure> AWS にアクセスし、統合を選択します。
次のイベントタイプを使用して、データのクエリと探索を行うことができます。
エンティティ | イベントタイプ | プロバイダー |
---|---|---|
ジョブ |
|
|
データの利用方法については、 統合データの理解と利用 を参照してください。
メトリックデータ
このインテグレーションは、JobのためにAWS Glueのデータを収集します。
のりものデータ
メトリック | ユニット | 説明 |
---|---|---|
| バイト | すべてのエクゼキュータで実行されている完了したすべてのSparkタスクが、すべてのデータソースから読み込んだバイト数。 |
| ミリ秒 | ETLの経過時間をミリ秒単位で表したもの(ジョブの起動時間は含まれない)。 |
| Count | ジョブ内の完了したステージの数。 |
| Count | ジョブ内の完了したタスクの数。 |
| Count | 失敗したタスクの数です。 |
| Count | 殺されたタスクの数です。 |
| Count | すべてのエクゼキュータで実行されている完了したすべてのSparkタスクによって、すべてのデータソースから読み込まれたレコードの数。 |
| バイト | 前回のレポート以降、すべてのエクゼキュータがデータを相互にシャッフルするために書き込んだバイト数(AWS Glue Metrics Dashboardでは、前の1分間にこの目的で書き込まれたバイト数として集計されています)。 |
| バイト | 前回のレポート以降、すべての実行者がデータを相互にシャッフルするために読み込んだバイト数(AWS Glue Metrics Dashboardでは、前の1分間にこの目的で読み込まれたバイト数として集計されています)。 |
| バイト | 全エクゼキュータで使用されているディスク容量のメガバイト数です。 |
| Count | アクティブに動作しているジョブ実行者の数です。 |
| Count | 現在の負荷を満たすために必要な、最大(アクティブに実行中および保留中)のジョブ実行者の数。 |
| パーセント | このドライバのJVMヒープが使用するメモリの割合(スケール:0~1) ドライバの場合。 |
| パーセント | このドライバのJVMヒープが使用するメモリの割合(スケール:0~1)を、すべてのエクゼキュータに対して示します。 |
| バイト | ドライバのJVMヒープが使用するメモリバイト数。 |
| バイト | JVMヒープが全エクゼキュータに対して使用するメモリバイト数です。 |
| バイト | 前回のレポート以降にドライバーがAmazon S3から読み取ったバイト数(AWS Glue Metrics Dashboardでは、前の1分間に読み取られたバイト数として集計されています)。 |
| バイト | 前回のレポート以降、ALL executorsによってAmazon S3から読み取られたバイト数(AWS Glue Metrics Dashboardでは、前1分間に読み取られたバイト数として集計されています)。 |
| バイト | 前回のレポート以降、ドライバーによってAmazon S3に書き込まれたバイト数(AWS Glue Metrics Dashboardでは、前の1分間に書き込まれたバイト数として集計されています)。 |
| バイト | 前回のレポート以降、ALL executorsによってAmazon S3に書き込まれたバイト数(AWS Glue Metrics Dashboardでは、前1分間に書き込まれたバイト数として集計されています)。 |
| パーセント | ドライバが使用するCPUシステム負荷の割合(尺度:0~1)。 |
| パーセント | ALL実行者が使用するCPUシステム負荷の割合(尺度:0-1)。 |