ArgoCD의 App of Apps 패턴
ArgoCD는 쿠버네티스를 위한 대표적인 선언적, GitOps 기반의 CD(Continuous Delivery) 도구입니다. 배포할 쿠버네티스 서비스의 deployment, service, ingress 등을 정의하고 서비스 Repository에서 GitOps 기반의 배포 파이프라...
최근 포스트
Airflow에서 KubernetesPodOperator로 kubectl image 쉽게 사용하는 방법
Airflow 파이프라인에서 kubectl을 이용해서 deployment rollout을 해야할 상황이 생겼습니다. 여러 방법을 고민해보다 KubernetesPodOperator와 Secret을 이용하면 쉽게 할 수 있어서 그 방법을 정리합니다.
2024년 및 글또 9기를 잘 보내기 위한 목표 및 계획
2023년도 간단한 회고
Triton Inference Server에서 gRPC 사용하기
1. tritonclient의 InferenceServerClient를 사용 $ pip install tritonclient[grpc]
Transformers 모델을 Triton으로 배포하기 (ONNX, TensorRT)
일반적인 PyTorch 혹은 Transformers 모델 배포 성능을 극대화하기 위해 모델 포맷을 ONNX, TensorRT로 변환하고 Triton Inference Server로 배포하는 과정을 정리해봤습니다.
Google Cloud를 이용한 데이터 수집 파이프라인 구축기
Google Cloud를 이용해서 데이터 수집 파이프라인을 구축해본 과정을 정리해봤습니다. 클라우드를 사용하지만 초기 비용은 100원도 안나오는 걸로 확인했기 때문에 비용 걱정 없이 따라해보셔도 좋을 것 같습니다.
Ubuntu 22.04 minikube 설치 및 Lens 연동
이번에 새로 구매한 노트북에 Ubuntu 22.04를 설치하면서 Kubernetes 환경을 구축한 내용을 정리해봤습니다. 목표는 아래와 같습니다.
Feature Engineering에서 결측값(Missing Value) 처리하기
Feature Engineering을 하는데 있어 결측값 처리는 굉장히 중요합니다. 이 결측값이 무엇이고 어떻게 처리할 수 있는지 그 방법에 대해 이야기하겠습니다.
Python에서 Elasticsearch update_by_query를 안전하게 사용하는 방법
update_by_query Elasticsearch에 저장된 document의 값을 일괄적으로 수정할 때 update_by_query를 사용하게 됩니다. 아래는 update_by_query를 사용해서 document의 field 이름을 변경하는 예시입니다.
Hadoop의 Yarn
Yarn의 등장 배경 Hadoop의 초기 버전(1.0)은 MapReduce를 기반으로 분산 데이터 처리를 수행하는데 중점을 두었습니다. 이러한 구조는 MapReduce 작업이 많은 양의 리소스를 소모하여 여러 작업이 동시에 실행되기 어려웠고, 다양한 유형의 작업을 처리하기 어렵고,...
intel MAC에 Hadoop 설치하기
Hadoop을 설치하는 과정은 크게 1) Java 설치와 2) Hadoop 설치로 나뉩니다.
MinIO 설치(with NFS, Kubernetes, Helm)
MinIO는 Amazon S3와 호환되는 API를 제공하는 오픈소스 오브젝트 스토리지입니다. 일반적으로 S3와 같은 오브젝트 스토리지가 필요할 때 대용으로 가장 많이 사용되는 오픈소스입니다. 영어 그대로 미니오(Minimal Object Storage를 의미하기 때문)라고 읽기도 ...
카파, 람다 아키텍처 비교 (Kappa vs Lambda)
카파 아키텍처(Kappa Architecture)
Docker image save and load
일반적으로 Docker는 Public(ex. DockerHub) 혹은 Private(ex. Harbor) Registry에서 Image를 가져오기 때문에 파일로 Docker Image를 옮길 일은 거의 없습니다. 하지만 아래와 같은 경우에 파일로 옮겨야할 경우가 생기게 됩니다.