Kibana 시각화에서 새로 추가한 field가 보이지 않을 때 (7.x 이하)
7.x 이하 버전을 사용할 때, index에 새로 추가한 field로 Visualize(시각화)를 추가하려하면 추가된 field가 보이지 않습니다. 이는 index pattern의 mapping에 반영되지 않았기 때문인데, 아래와 같이 index pattern으로 가서 refres...
최근 포스트
Python 문자열 리스트 구분자로 합치기 (join)
for loop을 이용해서 코드를 작성하다보면 아래와 같은 상황을 종종 보게됩니다.
Airflow DummyOperator(EmptyOperator)
Airflow는 특정 Task에서 조건에 따라 skip하거나 멈추게하는 등의 동작을 하기 어렵습니다. 이를 해결하기 위해 branch로 분리해서 기존 flow가 진행되지 않도록 할 수 있는데, 이때 DummyOperator를 활용할 수 있습니다.
Python 파일 읽기/쓰기 (TEXT, JSON)
TEXT 읽기/쓰기
Python CSV 읽기/쓰기
csv는 comma-separated values의 약자로, 말 그대로 comma(,)로 데이터를 구분하는 포맷을 말합니다. 예를 들어 아래 표 처럼 데이터가 있을 때 아래와 같이 표현됩니다.
데이터 시각화 비교 (Redash, Metabase, Tableau, Superset)
Redash Metabase Tableau Superset 지원 DB BigQueryElasticsearchDruidHiveImpalaMongoDBMySQLO...
Python 경로 관련 함수
현재 경로 (os.getcwd)
Metabase (데이터 시각화, Tableau 대체)
https://github.com/metabase/metabase
Python Type Hint (자료형 명시)
Python은 기본적으로 변수를 사용할 때 자료형을 명시하지 않고 사용할 수 있습니다. 때문에 함수를 사용할 때도 파라미터나 반환의 자료형을 정의하지 않아도 동작합니다. 이것은 빠르고 가볍게 개발하는 입장에서 장점처럼 느껴지지만, 협업이나 유지보수 측면에서는 단점이 될 수 있습니다...
BranchPythonOperator로 Task 선택
BranchPythonOperator를 사용하면 여러 개의 Task 중 하나를 선택해서 flow를 진행할 수 있습니다. 조건에 따라 하나를 선택해서 사용하는 경우에 적용하면 유지 관리 측면에서도 효과를 볼 수 있습니다.
Python tqdm (progress bar)
Python에서는 tqdm을 이용하면 loop의 진행 현황을 확인할 수 있습니다. 간단하게 for 문을 예시로 확인해보겠습니다.
Python 경로 문자열 저장 (원시 문자열)
Python에서 윈도우 경로를 문자열로 저장하기 위해서 일반적으로 아래와 같이 사용합니다.
Python Lambda
Python에서 lambda를 사용하면 함수를 추가 작성하지 않아도 돼서 편리합니다. 아래 대표적인 sort와 map 예시로 lambda 동작을 확인해 볼 수 있습니다.
Python 문자열 포맷, F-String
Python에서 문자열 안에 변수 값을 넣는 다양한 방법을 확인해보겠습니다.
Python 3.7, PyCharm(w. Toolbox) 설치
Python과 개발툴 설치 과정