데이터 거버넌스와 프로세스 거버넌스
거버넌스는 비즈니스에 대한 일련의 통제로, 금융·법률·윤리적 의무가 있습니다. 대표적인 예시로 개인정보 보호법이 있습니다. MLOps에서의 거버넌스는 데이터, 프로세스, 모델 3가지로 구분할 수 있습니다.
최근 포스트
Windows 원격 데스크톱(mstsc) 접속 끊김 해결
집에서 4k 모니터 해상도를 1920x1080로 사용중이였는데, 1920x1080 해상도를 사용중인 pc에 원격으로 접속하면 접속이 바로 끊기는 현상이 발생했습니다.
ubuntu session timeout 없애기 (TMOUT)
ubuntu 서버 사용중에 session이 너무 자주 끊기는게 불편해서 timeout을 수정했습니다. /etc/profile에서 직접 수정해도 되지만, 안전하게 개인 계정만 적용하는 방법은 아래와 같습니다.
피드백 루프 인프라 (Feedback Loop Infrastructure)
출처: Introducing MLOps - End-to-end ML process를 위한 CD(Continuous Delivery)
BentoML v0.13.1에서 v1.0으로 Migration
BentoML v0.13.1이 release된지 정확히 1년이 지난 2022년 7월 13일 v1.0이 release되었습니다. v1.0이 release되면서 기존 사용법이 조금 변경되었는데, 이에 따른 v0.13.1에서 v1.0으로 넘어가는 과정을 살펴보겠습니다.
Elasticsearch query size limit 수정
Elasticsearch에서 데이터를 검색하면 최대 10,000개까지 검색이 되는 것을 볼 수 있습니다. 10,000개 이상 검색이 필요한 경우에는 Scroll API(공식 문서)를 사용하는게 맞지만, 성능 상관없이 검색만 필요한 경우 아래와 같이 limit를 수정하면 10,000...
데이터 드리프트 감지 (Drift Detection)
자동차 주행 데이터로 예를 들어, 평소 도심에 인구가 밀집되어있다가 특정 이벤트(집값 폭등, 원격근무 확대 등)로 인해 지방, 시골에 이동했다고 가정해봅시다. 초기엔 주로 건물, 도로 등을 위주로 데이터가 수집됐었겠지만 나중엔 점점 자연 풍경의 데이터가 수집되기 시작할 것입니다. ...
MLflow PyTorch 학습 example (using MLproject, pip)
본 예제는 Anaconda 없이 pip requirements를 가지고 MLflow pytorch example을 진행하는 방법에 대해 작성하였습니다.
MLflow v1.0+ CLI pyfunc, rfunc 명령어를 models로 통일
일부 작성한지 오래된 튜토리얼의 CLI에서 pyfunc, rfunc를 사용하고 있습니다. 해당 명령어가 v1.0 정식 버전이 출시되면서 models로 통일되었기 때문에 해당 부분을 공유합니다.
Airflow 기간 내 Task clear (재실행)
Airflow Web UI에서도 task를 clear할 수 있지만, task의 양이 많거나 명령어를 이용해서 자동화하고 싶은 경우 아래 명령어를 이용해서 clear가 가능합니다.
MLOps level (ML CI/CD/CT Pipeline 자동화)
MLOps level 0: Manual process
pandas timestamp를 datetime으로 변환
```python import pandas as pd