일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
Tags
- TRUNCATE
- SQLite
- not in
- 전처리
- join
- airflow 설치
- seaborn
- hackerrank
- 데이터분석
- 파이썬
- Oracle
- 그로스해킹
- pandas
- matplotlib
- Limit
- Round
- solvesql
- 데이터시각화
- 다중 JOIN
- having
- SUM
- GROUPBY
- 프로그래머스
- mysql :=
- 결측값
- PostgreSQL
- 데이터리안 웨비나
- SQL
- 머신러닝
- MySQL
Archives
- Today
- Total
목록google cloud sdk (1)
Milky's note
GCP Repositories를 사용해서 Airflow DAG 반영하기
GCP에서 스케줄 작업을 할 때 가장 많이 사용하는 방법이VM Instance에 Airflow를 설치해서 사용하는 방법이다. 소스의 편한 형상관리와 Airflow DAG 코드를 쉽게 반영하기 위해서 GCP의 Repositories를 사용한다. 그래서 이번에는 GCP의 Repositories를 사용해서 DAG 코드를 Airflow 서버에 반영하는 방법에 대해서 간단하게 설명하려고 한다. 여기서 구성할 DAG는 Open API인 환율 구하는 API를 사용해서 전처리하여 daily로 해당일의 환율을 빅쿼리에 적재하려고 한다.더보기[DAG 코드는 다음과 같이 작성한 상태]환율 API 호출(extract) → 판다스를 통한 전처리(transform) → 빅쿼리 적재(load) 환율 APIAPI 호출을 위한 인증..
DevOps/GCP
2024. 5. 17. 21:49