모델 리스크 관리 (MRM, Model Risk Management)
하나의 서비스에 AI를 도입하는데 있어 사용되는 모델이 다수인 경우가 많습니다. 추천 서비스만 도입하더라도 추천 종류별로 관점이 다르기 때문에 각각의 모델이 생기게 됩니다. 이렇게 다수의 모델을 리스크 측정 없이 도입할 경우 동시 다발적으로 문제가 생기거나 큰 효과를 볼 수 없습니다.
그만큼 모델 리스크 관리는 머신러닝을 도입하는데 있어 놓쳐선 안될 중요한 부분이 되었습니다. 머신러닝 모델을 사용함으로써 발생할 수 있는 대표적인 리스크로는 아래 4가지가 있습니다.
대표적인 모델 리스크 항목
- 특정 기간 동안 모델을 사용할 수 없는 리스크
- 특정 표본에 대해 잘못된 예측을 반환하는 리스크
- 시간이 지남에 따라 모델 정확도나 공정성이 떨어지는 리스크
- 모델을 유지보수하기 위한 기술(즉, 데이터 사이언스 관련 인재)이 손실될 리스크
1번의 예로 모델을 실시간으로 사용하는 경우가 있습니다. 이 경우 데이터 처리에 딜레이가 발생하거나 누락되는 경우가 발생하는데, 이게 서비스에 어느정도 영향을 미치는지 검토해야합니다. 모델을 분석 용도로 일배치와 같은 형태로 사용할 경우 해당 리스크가 크게 줄어듭니다.
2번의 예로 의료에 AI를 적용하는 경우가 있습니다. 암 진단의 경우 암으로 판정했다가 아닌 경우의 리스크는 적지만, 암이 아니라고 판정했다가 암인 경우의 리스크는 상당히 큽니다. 모델의 성능은 100%가 될 수 없기 때문에 성능을 Trade-off해서 리스크를 낮추는 등의 방법을 적용해야 합니다.
3번의 예로 욕설을 분류하는 경우가 있습니다. 욕설은 매년 새로운 용어가 다수 발생하기 때문에 기존엔 욕설이 아니였지만 지금은 욕설이 된 경우가 있습니다. 이러한 경우 모델을 주기적으로 학습해서 리스크를 낮추는 방법을 적용해야 합니다.
4번은 AI 기술을 다소 어렵게 사용하는 경우 발생합니다. 모델의 성능을 높일 때 어려운 방법을 적용한 경우 인수인계가 어렵고, 이슈가 발생했을 때의 리스크가 가중될 수 있습니다. 이러한 경우 일반적으로 모델을 채택하고, 데이터를 잘 정제해서 최대한 성능을 높혀 다른 사람도 쉽게 사용할 수 있도록 리스크를 낮추는 방법을 적용해야 합니다.
위 4가지 리스크를 기반으로 1) 발생 확률은 어느정도 되는지, 그리고 2) 영향도는 어느정도 되는지를 검토해서 아래 리스크 매트릭스(Risk Matrix)에 도입해 리스크의 정도를 측정해야합니다.
< 리스크 매트릭스 (Risk Matrix) >
리스크 평가는 모델을 초기에 의도한 바와 다르게 사용할 수도 있기 때문에 프로젝트를 시작할 때뿐만 아니라 정기적으로 수행해야 합니다. 또한 정기적으로 수행하면서 이러한 리스크를 가지고도 사용함으로써 충분한 효과를 볼 수 있는지를 검증해야 합니다.
본 게시글은 Introducing MLOps를 읽고 정리한 내용입니다.
댓글남기기