목록Python (27)

Milky's note

Google Analystic4(GA4) API 연결 (GCP 환경)

이번 프로젝트에서 GCP 환경에서 GA4의 데이터를 불러와야하는 작업이 생겼다.데이터 ETL 파이프라인을 개발하고 대시보드까지 구축해야하는데As-Is에서는 대시보드를 lookerstudio로 썼기 때문에 바로 커넥터를 사용해서 연결을 했었다.To-Be 환경은 태블로 서버를 GCP Instance에 구축할 것이라 GA의 API를 사용해서  데이터를 적재할 예정이다.  우선 GCP 환경이기 때문에 프로젝트를 생성해야한다.만약 프로젝트부터 생성해야한다면 여기를 통해 생성하면 된다. 1. GA API enable먼저 생성한 프로젝트에서 GA의 API를 사용할 수 있도록 API를 enable 해주어야한다.[API 및 서비스] → [라이브러리]에서 GA 관련 API를 선택한다.혹은 아래 링크를  통해 접속해도 된다..
Python/API Connect 2024. 4. 30. 20:41
[Python] URL encoding (request 파라미터 ASCII 변환)

요즘 LinkedIn Ads API를 통해 ETL 로직을 개발하고 있다.그런데 LinkedIn Ads의 API는 정말 당황스럽다.docs도 잘 되어있지 않고 호출할 파라미터들은 중구난방이고원하는 정보를 얻으려면 호출의 호출의 호출을 통해서 얻을 수 있었다...그리고 무엇보다 request params들이 꼭 특수문자로"만" 들어와야지 호출이 된다.(근데 campaign 관련 urn 파라미터는 아스키코드로"만" 들어와야지 호출가능 .. ㅎ)그렇지 않으면 400(Bad Request) 오류가 떨어진다.  그래서 해결 방법을 찾은게 바로 urllib.parse 모듈의 urlencode 함수를 써서 특수문자들이아스키 코드가 아닌 특수문자 그대로 처리되게  예외처리를 해주었다.  urlencode 함수는 str이..
Python/요약 정리 2024. 3. 26. 21:10
🛠 [LinkedIn Ads] Advertising API 호출하기!

LinkedIn의 Ads 쪽 데이터를 API로 호출해서 적재하는 파이프라인을 만들려고 한다.API 호출을 단순 Auth로 하면 될 줄 알았는데 생각보다 복잡한 절차가 있어서 정리하려고 한다. 1. LinkedIn Developers에서 App 생성LinkedIn API를 연동하기 위해서는 LinkedIn Developers(https://developer.linkedin.com/)에서 app을 생성 해야한다. 앱의 이름과 LinkedIn Page, 그리고 로고 이미지를 넣고 앱을 생성하면 된다.앱은 바로 생성이 되고 내가 필요한 Advertising API를 Request해야하는데 블락이 되어 있다. 앱을 생성하면서 넣어주었던 회사의 LinkedIn 계정 담당자가 승인을 해주어야 API를 요청할 수 있다..
Python/API Connect 2024. 3. 12. 17:38
[Python] AWS Glue에서 비동기 처리 (concurrent.futures)

◎ concurrent.furue 모듈기존에 파이썬에서는 스레드를 구현하려면 threading 모듈을 사용하고 멀티 프로세스 프로그램을 구현하려면 multiprocessing 모듈을 사용해야 했었다. 하지만 3.2 버전부터는 concurrent.futures 모듈이 도입되었다.concurrent.futures 모듈은 비동기적으로 callable을 실행하는 고수준 인터페이스를 제공하기 때문에 이 모듈을 사용하면 같은 규칙으로 스레드와 멀티 프로세스 코드를 더 쉽게 작성할 수 있다.ExecutorThreadPoolExecutor ProcessPoolExecutorFuture · Executor 클래스Executor 클래스는 풀 기반으로 작업을 관리하고 비동기적으로 호출을 실행하는 메서드를 제공하는 추상 클래..
Python/요약 정리 2024. 2. 7. 19:41
Prev 1 2 3 4 5 ··· 7 Next