일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- Round
- solvesql
- join
- 파이썬
- 데이터분석
- matplotlib
- SQL
- 그로스해킹
- TRUNCATE
- 결측값
- not in
- SUM
- hackerrank
- seaborn
- MySQL
- airflow.cfg
- having
- 프로그래머스
- 전처리
- 머신러닝
- pandas
- 데이터시각화
- PostgreSQL
- SQLite
- Limit
- 데이터리안 웨비나
- Oracle
- airflow 설치
- 다중 JOIN
- GROUPBY
- Today
- Total
목록전체 글 (128)
Milky's note
LinkedIn API는 구조도 복잡하기로 유명하고(스택 오버플로우 진짜 정독 몇 경번 함)광고 쪽 도메인 날리지는 없어서 무슨 지표인지 맨날 찾으러 다녔던 눈물의 2개월드디어 LinkedIn 로직 개발 완료 했다 ...은근 예외처리가 많이 들어가서 조금 벙쪘는데 그래도 뿌듯하당 그리고 요즘 일하는게 재밌따 ...짜증은 나는데 사람들 만나는 것보다 조금 더 재밌어진 느낌요즘 복잡한 일이 너무 많이 생겨서 걱정 인형인 나에게 다른 잡생각들이 덜해지는 것 같다그래도 몸은 힘들지만 정신은 요즘 들어서 제일 맑아진 시기인 것 같다. 휴 이제 나머지 리소스 7개만 20일만에 더 개발하면 된다 ! ^^화이팅,,
GCP에서 스케줄 작업을 할 때 가장 많이 사용하는 방법이VM Instance에 Airflow를 설치해서 사용하는 방법이다. 소스의 편한 형상관리와 Airflow DAG 코드를 쉽게 반영하기 위해서 GCP의 Repositories를 사용한다. 그래서 이번에는 GCP의 Repositories를 사용해서 DAG 코드를 Airflow 서버에 반영하는 방법에 대해서 간단하게 설명하려고 한다. 여기서 구성할 DAG는 Open API인 환율 구하는 API를 사용해서 전처리하여 daily로 해당일의 환율을 빅쿼리에 적재하려고 한다.더보기[DAG 코드는 다음과 같이 작성한 상태]환율 API 호출(extract) → 판다스를 통한 전처리(transform) → 빅쿼리 적재(load) 환율 APIAPI 호출을 위한 인증..
Meta에도 Marketing API가 존재한다.광고 캠페인에 대한 지표를 보기 위해서 Meta의 API를 호출해서 데이터를 적재하는 파이프라인을 개발하였다.Meta의 Marketing API를 연결하려면 다음과 같은 순서대로 진행하면 된다. 1. Business Manager 권한 부여API를 호출하려면 먼저 비즈니스 포트폴리오에 전체 관리 권한이 필요하다.나의 경우 회사의 계정이다보니 비즈니스 포트폴리오를 관리하시는 분이 따로 계셔서 권한 부여를 요청하였다. 2. 앱 만들기권한이 부여된 것을 확인하고 앱을 만들어서 API를 호출하는 토큰과 사용하려는 API를 설정해준다.다음처럼 개발자 지원 센터로 이동하여 앱 만들기를 클릭한다. 다음으로 기타를 클릭해준다. 그 다음에는 비즈니스를 선택한다. 그 ..
이번 프로젝트에서 GCP 환경에서 GA4의 데이터를 불러와야하는 작업이 생겼다.데이터 ETL 파이프라인을 개발하고 대시보드까지 구축해야하는데As-Is에서는 대시보드를 lookerstudio로 썼기 때문에 바로 커넥터를 사용해서 연결을 했었다.To-Be 환경은 태블로 서버를 GCP Instance에 구축할 것이라 GA의 API를 사용해서 데이터를 적재할 예정이다. 우선 GCP 환경이기 때문에 프로젝트를 생성해야한다.만약 프로젝트부터 생성해야한다면 여기를 통해 생성하면 된다. 1. GA API enable먼저 생성한 프로젝트에서 GA의 API를 사용할 수 있도록 API를 enable 해주어야한다.[API 및 서비스] → [라이브러리]에서 GA 관련 API를 선택한다.혹은 아래 링크를 통해 접속해도 된다..