일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
- 데이터분석
- SUM
- matplotlib
- 데이터시각화
- join
- 머신러닝
- hackerrank
- Limit
- Round
- airflow 설치
- 결측값
- PostgreSQL
- having
- pandas
- TRUNCATE
- 파이썬
- GROUPBY
- 다중 JOIN
- 전처리
- 프로그래머스
- solvesql
- not in
- airflow.cfg
- SQL
- MySQL
- 데이터리안 웨비나
- SQLite
- Oracle
- seaborn
- 그로스해킹
- Today
- Total
목록전체 글 (130)
Milky's note
LinkedIn Ads의 Advertising API를 호출하던 중header 필수 값인 version 때문에 오류가 자주 발생하였다. 맨 처음 코드는 version을 호출하는 시점에서 한 달을 빼주고 지난 달로 호출을 해주었다.하지만 LinkedIn Ads의 API 버전이 규칙적으로 반영되지는 않아서어느 달에는 두 달전 혹은 세 달전 버전으로 호출하거나 해야하는 일이 빈번했다. · 기존 코드# version format : '202502'version = (datetime.now() - relativedelta(months=1)).strftime('%Y%m')headers = { "Authorization": access_token, "LinkedIn-Version": version, ..

프로젝트에서 Google Ads API를 호출하여 데이터를 전처리하는 부분이 있다. OAuth로 인증받고 로직 잘 돌아가고 있었는데 갑자기 아래와 같은 메일이 왔다 !! 그리고 Airflow에서 2월 5일이 되자마자 오류가 발생하였다.ㅠㅠ v16이 지원이 중단 되었다고 한다.errors {error_code {request_error: UNSUPPORTED_VERSION}message: "Version v16 is deprecated. Requests to this version will be blocked."} 더보기참고로 위 IP (199.36.153.8)는온프레미스 호스트의 비공개 Google 액세스를 사용하기 위한 특수 도메인이다 ! https://cloud.google.com/vpc/docs/..

내가 현재 진행하고 있는 프로젝트는 GCP 기반으로 폐쇄망을 사용한다.추가로 Public IP도 사용하지 않고 GCP 내부 IP만 사용한다. 초반에 Airflow를 Public IP로 구성을 해놓았는데 내부 IP만 허용이 되는 정책으로 변경이 되었다...어쩔 수 없이 Airflow 서버를 내부 IP만 사용되게 하였는데 당연하게도 Airflow UI 접속이 불가능해졌다 ! 그래서 내가 생각한 방법은 로컬에서 서버로 접속하기 ! 내부 IP만 사용하지만 SSH 터널링을 사용하면 서버로 접속이 가능하다 ! 1. 로컬에 SSH 연결 외부 IP 없이 Airflow UI에 접속하기 위해 SSH 터널링을 사용할 수 있다.이 방법은 로컬에서 GCP의 VM 인스턴스에 SSH로 연결한 후,Airflow UI에 접근할 수 ..

각 컬럼의 grand total (총 합계)를 구하고 싶을 때에는 아래와 같은 sum 함수에numeric_only 파라미터를 True로 작성해주면 된다 !! 예를 들어보면 아래와 같은 데이터프레임이 있다고 하자 각 컬럼 별 총합을 구하고 싶으면 아래처럼 입력해준다df.loc['Grand_Total']= df.sum(numeric_only=True, axis=0) #열 기준df.loc[:,'Row_Total'] = df.sum(numeric_only=True, axis=1) #행 기준 그러면 이렇게 추가가 된다 !!