Aporia는 데이터 과학 팀이 프로덕션 환경에서 기계 학습 모델을 모니터링할 수 있는 빠르고 쉽고 안전한 방법입니다. Aporia를 사용하면 팀은 데이터 드리프트, 예상치 못한 편향, 데이터 무결성 문제 및 성능 저하와 같은 문제를 조기에 감지하기 위해 실시간 경고를 수신하기 위해 몇 분 만에 맞춤형 모니터를 구축할 수 있습니다. Aporia에는 추가 조사 및 근본 원인 분석을 가능하게 하는 조사 도구 상자도 있습니다. 아포리아에 대해 자세히 알아보세요 .
Aporia는 이제 New Relic과의 통합을 제공하여 MLOps 인프라의 전체 모델 관리를 제공하고 New Relic 내에서 추론 조사를 보여주는 맞춤형 대시보드를 제공합니다.
New Relic과 Aporia 통합
Aporia를 사용하면 Aporia의 모니터에서 생성된 경고를 New Relic의 사고 인텔리전스 엔진 및 예측 데이터에 연결하여 New Relic에서 모델에 대한 포괄적인 모니터링 대시보드를 생성할 수 있습니다.
- Aporia 콘솔에 로그인 : 왼쪽 탐색 모음에서 통합 을 클릭하고 New Relic 을 선택합니다.
- New Relic 계정에 로그인: one.newrelic.com 에 로그인하고 Explorer 를 클릭합니다. 상단 모서리의 기본 탐색 메뉴에서 +데이터 추가 를 클릭합니다.
- Aporia 클릭: 검색 창에 Aporia 를 입력하거나 MLOps 통합 섹션까지 아래로 스크롤하고 Aporia 아이콘 을 클릭합니다.
- 계정 ID 선택 : Aporia가 통합할 계정 ID를 선택합니다.
- New Relic API 키 받기: Aporia 아이콘을 클릭한 후 1단계를 따르십시오. 예측 데이터 및 모델 품질 경고 아래에서 선택 을 클릭하여 기존 키를 선택하거나 API 키 만들기 를 클릭합니다. 이것은 New Relic에 데이터를 보고하는 데 사용되는 라이센스 키 를 생성했습니다.
- Aporia에 키 붙여넣기: 이제 Aporia 대시보드로 이동하여 New Relic Integration 화면에서 New Relic insert token 아래에 키를 붙여넣습니다. 붙여넣은 후 저장 을 클릭합니다.
- 키 확인: Aporia 대시보드에서 토큰 확인 버튼을 클릭하여 키가 제대로 작동하는지 확인합니다. 상태를 나타내기 위해 녹색 확인 표시 또는 빨간색 오류 표시가 나타나야 합니다.
Aporia로 기계 학습 모델 모니터링
이제 New Relic과 Aporia를 통합했으므로 Aporia에서 생성한 자동 차트가 있는 대시보드 를 사용하여 데이터를 모니터링할 수 있습니다.
- 통합 대시보드로 이동: 토큰을 확인하고 통합이 올바르게 설정되었는지 확인한 후 New Relic 통합 대시보드로 돌아가서 데이터 보기 를 클릭합니다. 그러면 New Relic에서 Aporia에 보고된 데이터를 표시하는 자동 생성된 대시보드로 리디렉션됩니다.
- Aporia의 대시보드를 분석합니다. New Relic에 채워진 Aporia의 대시보드에는 6개의 차트가 포함되어 있습니다.
- 가장 활동적인 모델 차트는 선택한 기간에 예측을 보고한 다양한 모델을 표시합니다.
- 가장 활동적인 모델 버전 차트는 선택한 기간에 예측을 보고한 다양한 버전을 표시합니다.
- 모델 추론 그래프는 각 모델 및 버전에 대해 보고된 고유한 예측의 수를 표시합니다.
- 평균 수치 추론 차트는 각 모델 및 버전에 대해 보고된 평균 수치 수치 예측을 표시합니다.
- 숫자 추론 히트맵 차트는 각 모델 및 버전에 대해 보고된 숫자 예측의 히스토그램을 표시합니다.
- 범주형 추론 차트는 각 모델 및 버전에 대해 보고된 범주형 예측의 다양한 고유 값과 해당 빈도를 표시합니다.
- 데이터 필터링: ... 버튼을 클릭하고 편집 을 클릭합니다. 오른쪽 탐색 모음의 필터로 사용자 아래 에서 현재 대시보드 필터링을 활성화하고 저장 을 클릭합니다.
- 경고 알림 설정: 대시보드를 만들고 나면 데이터에 대한 경고를 받을 수 있습니다. 차트에서 NRQL 경고 조건을 생성하려면 차트 위젯을 클릭한 다음 경고 조건 생성 을 클릭합니다. 조건의 이름을 지정하고 사용자 정의한 후에는 기존 정책에 추가하거나 새 정책을 생성할 수 있습니다.
- 알림 받기: 알림 조건을 만든 후에 알림 방법을 선택할 수 있습니다. 알림 채널을 설정하는 방법 에 대한 문서를 참조하세요.
- 인시던트 상관 관계: 알림 외에도 인시던트 인텔리전스를 사용하여 인시던트의 상관 관계를 지정할 수 있습니다. 의사결정을 사용하여 사건을 연관시키는 방법 에 대한 문서를 참조하십시오.