New Relic은 MLOps 관찰 가능성 영역에 진입했으며 이제 데이터 과학자와 기계 학습 엔지니어가 프로덕션 환경에서 기계 학습 모델의 성능과 효율성을 모니터링하고 관찰할 수 있게 되었습니다.
프로덕션에서 데이터와 모델을 쉽게 추적
생산이 모니터링해야 하는 모델 수의 측면에서 특정 지점에 도달하면 데이터 및 모델 KPI를 추적하기가 어려워져 시스템이 훨씬 더 복잡해집니다. BYO(Bring Your Own Data) 를 사용하면 몇 분 만에 모델의 추론 및 메트릭 데이터를 노트북이나 다른 환경에서 직접 New Relic 플랫폼으로 빠르게 보낼 수 있습니다.
newrelic-telemetry-sdk-python 을 기반으로 하는 ml-performance-monitoring python 패키지를 사용하면 코드에 몇 줄만 추가하면 모델의 기능과 예측 값, 맞춤 측정항목을 보낼 수 있습니다.
Python 패키지를 사용하여 다음 유형의 데이터를 New Relic에 보냅니다.
추론 데이터: 모델의 특징 및 예측 값을 스트리밍합니다. 다음 중에서 선택하십시오.
- "온라인" 계측:
wrap_model함수를 통해 모델을 쉽게 래핑하여 프로덕션에서 모델이 호출되는 동안 값을 스트리밍합니다. 데이터는 호출할 때마다 자동으로 스트리밍됩니다. - "오프라인" 계측: 데이터(특성 및 예측)를 데이터세트(
np.array또는 pandas 데이터프레임)로 보냅니다.
추론 데이터는
InferenceData이라는 사용자 지정 이벤트 로 스트리밍됩니다.- "온라인" 계측:
데이터 측정항목: 모든 원시 추론 데이터를 보내는 대신 기능 및 예측(예:
min,max,average또는percentile)에 대해 집계된 통계 옵션을 선택합니다. 자동으로 측정항목 으로 전송됩니다.맞춤 측정항목: 자체 측정항목을 계산하고, 모델 성능 또는 모델 데이터를 모니터링하고,
record_metrics함수를 사용하여 이를 New Relic으로 스트리밍합니다. 그것들은 메트릭 으로 보내질 것입니다.
추론 데이터와 메트릭을 New Relic으로 스트리밍하려면 어떻게 해야 합니까?
데이터를 스트리밍하고 New Relic 플랫폼에서 보려면 다음 단계를 따르세요.
라이선스 키 가져오기: 데이터를 연결하려는 New Relic 계정의 라이선스 키 를 사용합니다.
new-relic-ml-performance-monitoring 패키지를 사용 하여 데이터를 New Relic으로 스트리밍하십시오 . 코드에서 데이터를 보내는 방법을 보려면 아래 예를 따르세요.
New Relic Platform에서 데이터 보기:
데이터 쿼리: 데이터 탐색기 를 사용하여 전송한 메트릭 및 이벤트 데이터를 보거나 쿼리 빌더 에서 다음 쿼리를 사용합니다.
SELECT * FROM InferenceData WHERE model_name=[model_name] SINCE 1 day agoSELECT * FROM Metric WHERE model_name=[model_name] SINCE 1 day ago고유한 대시보드 만들기: 고유한 대시보드 를 만들어 전송한 메트릭을 시각화하거나 기능 및 예측의 분포를 봅니다. 아래 대시보드 예시를 참조하세요.
개체 탐색: 데이터를 New Relic으로 스트리밍하면 각 모델 이름당 하나씩
machine learning model유형의 개체가 자동으로 생성됩니다. New Relic UI 에서 Explorer 를 선택하고 왼쪽 탐색 메뉴의 Machine Learning 섹션으로 이동하여 모델 엔터티를 탐색할 수 있습니다.
참고할 예가 필요하십니까? 다음 사용 사례를 확인하십시오!
다음 예제를 실행하여 데이터를 스트리밍하고 New Relic 계정에서 예제 대시보드를 봅니다.
- 예제 노트북 실행: 수집 키 를 환경 변수로 정의하거나 매개변수로 보내야 합니다. (여기에 노트북의 예가 있습니다.)
- 예제 대시보드에서 데이터 보기: 예제 대시보드 템플릿 JSON 을 가져 오고 계정 ID로
YOUR_ACCOUNT_ID을 업데이트합니다.