| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- MySQL
- 결측값
- solvesql
- having
- matplotlib
- 프로그래머스
- 다중 JOIN
- PostgreSQL
- airflow.cfg
- 데이터시각화
- seaborn
- hackerrank
- pandas
- not in
- 데이터분석
- SUM
- TRUNCATE
- 머신러닝
- join
- 그로스해킹
- SQL
- Oracle
- 데이터리안 웨비나
- GROUPBY
- 파이썬
- SQLite
- Limit
- Round
- 전처리
- airflow 설치
- Today
- Total
목록2024/05 (2)
Milky's note
GCP Repositories를 사용해서 Airflow DAG 반영하기
GCP에서 스케줄 작업을 할 때 가장 많이 사용하는 방법이VM Instance에 Airflow를 설치해서 사용하는 방법이다. 소스의 편한 형상관리와 Airflow DAG 코드를 쉽게 반영하기 위해서 GCP의 Repositories를 사용한다. 그래서 이번에는 GCP의 Repositories를 사용해서 DAG 코드를 Airflow 서버에 반영하는 방법에 대해서 간단하게 설명하려고 한다. 여기서 구성할 DAG는 Open API인 환율 구하는 API를 사용해서 전처리하여 daily로 해당일의 환율을 빅쿼리에 적재하려고 한다.더보기[DAG 코드는 다음과 같이 작성한 상태]환율 API 호출(extract) → 판다스를 통한 전처리(transform) → 빅쿼리 적재(load) 환율 APIAPI 호출을 위한 인증..
[Meta Ads] Meta(Facebook) Marketing API 연결
Meta에도 Marketing API가 존재한다.광고 캠페인에 대한 지표를 보기 위해서 Meta의 API를 호출해서 데이터를 적재하는 파이프라인을 개발하였다.Meta의 Marketing API를 연결하려면 다음과 같은 순서대로 진행하면 된다. 1. Business Manager 권한 부여API를 호출하려면 먼저 비즈니스 포트폴리오에 전체 관리 권한이 필요하다.나의 경우 회사의 계정이다보니 비즈니스 포트폴리오를 관리하시는 분이 따로 계셔서 권한 부여를 요청하였다. 2. 앱 만들기권한이 부여된 것을 확인하고 앱을 만들어서 API를 호출하는 토큰과 사용하려는 API를 설정해준다.다음처럼 개발자 지원 센터로 이동하여 앱 만들기를 클릭한다. 다음으로 기타를 클릭해준다. 그 다음에는 비즈니스를 선택한다. 그 ..