Milky's note

GCP에서 스케줄 작업을 할 때 가장 많이 사용하는 방법이VM Instance에 Airflow를 설치해서 사용하는 방법이다. 소스의 편한 형상관리와 Airflow DAG 코드를 쉽게 반영하기 위해서 GCP의 Repositories를 사용한다. 그래서 이번에는 GCP의 Repositories를 사용해서 DAG 코드를 Airflow 서버에 반영하는 방법에 대해서 간단하게 설명하려고 한다. 여기서 구성할 DAG는 Open API인 환율 구하는 API를 사용해서 전처리하여 daily로 해당일의 환율을 빅쿼리에 적재하려고 한다.더보기[DAG 코드는 다음과 같이 작성한 상태]환율 API 호출(extract) → 판다스를 통한 전처리(transform)  → 빅쿼리 적재(load) 환율 APIAPI 호출을 위한 인증..

1. DBeaver에서 Athena 선택 혹시나 DBeaver가 설치되지 않았다면 다음 링크에서 설치 DBeaver Community | Free Universal Database Tool DBeaver Universal Database Tool DBeaver Community is a free cross-platform database tool for developers, database administrators, analysts, and everyone working with data. It supports all popular SQL databases like MySQL, MariaDB, PostgreSQL, SQLite, Apach dbeaver.io 2. Connection Setting At..

Airflow Dag의 default 설정 중에서 catch up 이라는 설정이 있는데 이를 True로 하면 오류가 발생했을 때 start_date 시간부터 dag에서 설정한 crontab의 시간마다 수행한다. 기존에 수행 되었던 스케줄부터 다시 실행 시키고 싶으면 단순히 소스에서 catchup = True만 해놓지말고 기존에 수행되었던 기록을 삭제해주어야 한다. 기존 수행 내역을 삭제하려면 Browse > DAG Runs 에서 해당하는 Dag Id를 찾고 전부 선택하여 delete한다. DAG ID들을 삭제해주면 DAG가 재실행되고 이전 스케줄 시간부터 순차적으로 수행이 된다.

요즘 Mysql을 공부하고 있다. Real Mysql 이라는 책으로 공부하고 있는데 책에서 샘플 데이터베이스를 이용해서 테스트해보는 예제가 나왔다. 그런데 나는 애초에 Mysql을 설치할 때 샘플 데이터베이스를 설치하지 않아서 이미 도커에 Mysql 서버를 구축한 뒤에 샘플 데이터베이스 설치하는 법을 정리하려고 한다. 1. Employees 샘플 데이터베이스 다운 샘플 데이터 베이스는 깃허브를 이용해 배포되고 있다. https://github.com/datacharmer/test_db GitHub - datacharmer/test_db: A sample MySQL database with an integrated test suite, used to test your applications and data..