Milky's note

[LinkedIn Ads] Advertising API로 캠페인 그룹 호출하기 (version 수정)

밀뿌 — Wed, 19 Feb 2025 21:19:20 +0900

LinkedIn Ads의 Advertising API를 호출하던 중

header 필수 값인 version 때문에 오류가 자주 발생하였다.

맨 처음 코드는 version을 호출하는 시점에서 한 달을 빼주고 지난 달로 호출을 해주었다.

하지만 LinkedIn Ads의 API 버전이 규칙적으로 반영되지는 않아서

어느 달에는 두 달전 혹은 세 달전 버전으로 호출하거나 해야하는 일이 빈번했다.

· 기존 코드

# version format :  '202502'

version = (datetime.now() - relativedelta(months=1)).strftime('%Y%m')

headers = {
    "Authorization": access_token, 
    "LinkedIn-Version": version,
    "X-Restli-Protocol-Version": '2.0.0',
    "Accept-Encoding" : 'gzip, deflate, br'
}

campaigngroup_params = {
    'q': 'search', 
    'search': '(status:(values:List(ACTIVE)))'
}

campaigngroup_params = urllib.parse.urlencode(campaigngroup_params, safe='#\':()+=%,')

r = requests.get(url = campaigngroup_url, headers = headers, params= campaigngroup_params )

if r.status_code == 200:
    content = r.text
    content_json = json.loads(content)

    cg_df = pd.DataFrame(content_json['elements'])

else:
    raise requests.HTTPError(f"something went wrong:  {r.status_code}, {r.text}")

위의 방식으로 호출하면 아래처럼 존재하지 않는 버전이라는 오류 메세지와 함께

426 status code가 떨어진다.

HTTPError: something went wrong:  426, {"status":426,"code":"NONEXISTENT_VERSION","message":"Requested version 20250401 is not active"}

그래서!!! while을 사용해서 status code가 200으로 정상호출이 될 때까지 수정해주는 로직을 추가하였다.

우선 426 코드를 예외처리 해주었다.

· 1차 수정 코드

mm = 0
max_attempts = 12  # 최대 시도 횟수 

while mm < max_attempts:
    version = (datetime.now() - relativedelta(months=mm)).strftime('%Y%m')

    headers = {
        "Authorization": access_token, 
        "LinkedIn-Version": version,
        "X-Restli-Protocol-Version": '2.0.0',
        "Accept-Encoding" : 'gzip, deflate, br'
    }

    # active되어 있는 campaigngroup 불러오기
    campaigngroup_params = {
        'q': 'search', 
        'search': '(status:(values:List(ACTIVE)))'
    }

    campaigngroup_params = urllib.parse.urlencode(campaigngroup_params, safe='#\':()+=%,')

    r = requests.get(url = campaigngroup_url, headers = headers, params = campaigngroup_params)

    if r.status_code == 200:
        content = r.text
        content_json = json.loads(content)

        cg_df = pd.DataFrame(content_json['elements'])

        return cg_df

    elif r.status_code == 426:
        print(f"something went wrong version: {version}, {r.status_code}, {r.text}")
        mm += 1 #버전 오류가 발생하면 month를 더 과거로 조회

    else: #그 외는 raise로 오류 발생
        raise requests.HTTPError(f"API Call Failed! Status Code: {r.status_code}, Response: {r.text}")

raise RuntimeError("Max retries!!") #최대 시도 횟수가 넘어가면 raise로 오류 발생

이렇게 수정하였더니 오류가 발생하지 않았다 !

하지만 오늘 .... (이 오류 때문에 짜증나서 바로 블로그 쓰는 중 ㅎ) 버전 오류가 또 발생하였다.

일단 LinkedIn Ads의 adversiting API의 202502 버전은 현재 존재하지 않는 상태이다.

그러면 당연히 202501로 버전을 낮춰서 API 호출을 해야하지만 안되었다.

왜냐면..... status code가 426이 아닌 아래처럼 404로 떨어졌다... ㅜ

왜인지는 진짜 모르겠다....

{"message":"No root resource defined for path '/partnerApiAdAccountsV20250201'","status":404}

그래서 예외처리 부분에 404 코드도 추가해주었다.. ㅜ

만약 버전 때문에 발생하는 404 코드가 아니라 정말 Not Found여도

12번 넘게 실패하면 오류를 발생시켜서

디버깅 해보면 되니까 큰 문제는 없을 것 같다.

아무튼 그래서 오늘 추가된 코드이다.

ETL 작업을 Airflow에서 하고 있어서 Dag 중에서 캠페인 그룹 호출하는 task 코드를 첨부하였다.

· 최종 코드(Dag)

def campaigngroup_call(**kwargs):

    ti = kwargs['ti']
    # 이전 task에서 xcom에 저장한 access token 호출
    access_token = ti.xcom_pull(key='access_token', task_ids='token_headers')
    
    mm = 0
    max_attempts = 12  # 최대 시도 횟수 

    while mm < max_attempts:
        version = (datetime.now() - relativedelta(months=mm)).strftime('%Y%m')

        headers = {
            "Authorization": access_token, 
            "LinkedIn-Version": version,
            "X-Restli-Protocol-Version": '2.0.0',
            "Accept-Encoding" : 'gzip, deflate, br',
        }

        # active되어 있는 campaigngroup 불러오기
        campaigngroup_params = {
            'q': 'search', 
            'search': '(status:(values:List(ACTIVE)))'
        }

        campaigngroup_params = urllib.parse.urlencode(campaigngroup_params, safe='#\':()+=%,')

        r = requests.get(url = campaigngroup_url, headers = headers, params = campaigngroup_params)

        if r.status_code == 200:
            content = r.text
            content_json = json.loads(content)

            cg_df = pd.DataFrame(content_json['elements'])

        # 뒤의 task에서도 사용해야 되어서 Xcom으로 push
            ti.xcom_push(key='cg_df', value=cg_df.to_json())
            ti.xcom_push(key='headers', value=headers)

        # token이나 version의 경우 airflow 내 variable에 저장하여 사용
            Variable.set('access_token', access_token)
            Variable.set('version', version)

            return

        elif (r.status_code == 426) | (r.status_code == 404):
            print(f"something went wrong version: {version}, {r.status_code}, {r.text}")
            mm += 1
            
        else:
            raise requests.HTTPError(f"API Call Failed! Status Code: {r.status_code}, Response: {r.text}")

    raise RuntimeError("Max retries!!")
    

campaigngroup_call_task = PythonOperator(
    task_id='campaigngroup_call',
    python_callable=campaigngroup_call,
)

※ 함수의 첫 줄에서 사용되는 변수 ti는 Task Instance의 약자이다.
당연히 다른 변수를 사용해도 되긴 하지만

Airflow에서 XCom (Cross Communication)을 사용해 task 간 데이터를 주고받을 때 보통 ti 변수를 활용한다!!!

[Google Ads] API 버전 업그레이드

밀뿌 — Mon, 10 Feb 2025 20:30:02 +0900

프로젝트에서 Google Ads API를 호출하여 데이터를 전처리하는 부분이 있다.

OAuth로 인증받고

로직 잘 돌아가고 있었는데 갑자기 아래와 같은 메일이 왔다 !!

그리고 Airflow에서 2월 5일이 되자마자 오류가 발생하였다.ㅠㅠ

v16이 지원이 중단 되었다고 한다.

<_SingleThreadedRendezvous of RPC that terminated with:
status = StatusCode.INVALID_ARGUMENT
details = "Request contains an invalid argument."
debug_error_string = "UNKNOWN:Error received from peer ipv4:199.36.153.8:443 {created_time:"2025-02-05T01:30:16.346757668+00:00", grpc_status:3, grpc_message:"Request contains an invalid argument."}"
>

errors {
error_code {
request_error: UNSUPPORTED_VERSION
}
message: "Version v16 is deprecated. Requests to this version will be blocked."
}

참고로 위 IP (199.36.153.8)는

온프레미스 호스트의 비공개 Google 액세스를 사용하기 위한 특수 도메인이다 !

https://cloud.google.com/vpc/docs/configure-private-google-access-hybrid?hl=ko

오류가 발생한 호출 코드는 다음과 같다.

googleads_client = GoogleAdsClient(developer_token=developer_token, credentials=credentials)

gads_service = googleads_client.get_service("GoogleAdsService")


adgroup_query = f"""
    SELECT
    ad_group.id,
    ad_group.name,
    ad_group.campaign,
    segments.ad_network_type,
    metrics.impressions,
    metrics.clicks
    FROM ad_group
    WHERE segments.date BETWEEN '{dashboard}' AND '{dashboard}'
    ORDER BY ad_group.id"""


adgroups = []
adgroup_stream = gads_service.search_stream(customer_id=customer_id, query=adgroup_query)

for batch in adgroup_stream:
    for row in batch.results:
        adgroup = {
            "campaign_id": row.ad_group.campaign,
            "adgroup_id": row.ad_group.id,
            "adgroup_name": row.ad_group.name,
            "network": row.segments.ad_network_type,
            "impressions": row.metrics.impressions,
            "clicks": row.metrics.clicks
        }
        adgroups.append(adgroup)

adgroup_df = pd.DataFrame(adgroups)

혹시나 v16까지 지원되는 dimension이나 metrics이 있는지 docs부터 확인하였지만

v18에도 모두 지원되는 값들이었다.

계속 감을 못 잡고 있었는데 google ads api의 버전 업그레이드는 아래처럼

호출해주는 부분에 버전만 기재해주면 된다 !!!!

googleads_client = GoogleAdsClient(developer_token=developer_token, credentials=credentials)

gads_service = googleads_client.get_service("GoogleAdsService", version="v18")

생각보다 ,,, 넘 간단,,,

찾아보니까 google ads api의 수명은 12개월 정도이다.

그래서 업데이트가 다른 api 수명에 비해 잦은 편이고 그에 맞춰서 노티가 오면 버전을 수정해주면 된다 !

물론 버전을 업그레이드 해도 오류가 발생한다면,

더이상 지원하지 않는 파라미터들이니 docs를 참고해서 대체하는 값으로 바꿔주면 된다 !!!!!

https://developers.google.com/google-ads/api/docs/upgrade

[GCP] Google Cloud SDK로 SSH 터널링 (로컬 cmd에서 서버 접속)

밀뿌 — Wed, 18 Dec 2024 19:43:03 +0900

내가 현재 진행하고 있는 프로젝트는 GCP 기반으로 폐쇄망을 사용한다.

추가로 Public IP도 사용하지 않고 GCP 내부 IP만 사용한다.

초반에 Airflow를 Public IP로 구성을 해놓았는데 내부 IP만 허용이 되는 정책으로 변경이 되었다...

어쩔 수 없이 Airflow 서버를 내부 IP만 사용되게 하였는데 당연하게도 Airflow UI 접속이 불가능해졌다 !

그래서 내가 생각한 방법은 로컬에서 서버로 접속하기 !

내부 IP만 사용하지만 SSH 터널링을 사용하면 서버로 접속이 가능하다 !

1. 로컬에 SSH 연결

외부 IP 없이 Airflow UI에 접속하기 위해 SSH 터널링을 사용할 수 있다.

이 방법은 로컬에서 GCP의 VM 인스턴스에 SSH로 연결한 후,

Airflow UI에 접근할 수 있도록 포트를 포워딩하는 것이다.

먼저 Airflow를 접속하려는 로컬에 Google CLI를 설치한다.

[링크 참고]

https://cloud.google.com/sdk/docs/install?hl=ko

gcloud CLI 설치 | Google Cloud CLI Documentation

이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 gcloud CLI 설치 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 페이지에는 Google Cloud CLI

cloud.google.com

설치 방법은 아주 간단하며 몇 번의 인증이면 완료가 된다 !

그리고 설치한 Shell을 실행 !

먼저 아래 명령어를 입력해준다.

1. 현재 프로젝트 설정현재 사용하고자 하는 프로젝트를 설정
>> gcloud config set project <PROJECT_NAME>

2. 프로젝트 확인설정한 프로젝트가 올바른지 확인
>> gcloud config get-value project

내가 터널링하려는 프로젝트를 설정해주었고, 확인까지 마쳤다.

다음 명령어를 입력해서 GCP 인스턴스에 연결이 되나 확인한다.

명령어를 입력하여 GCP 인스턴스에 연결되나 확인
>> gcloud compute ssh <INSTANCE_NAME> --zone=asia-northeast3-a

이 명령어를 입력하고 조금 기다리면 새로운 터미널 (나의 경우 putty)가 열리면서 서버 로그인에 성공한다.

연결이 성공하면 로컬 머신의 터미널에서 GCP 인스턴스의 셀에 접근할 수 있게 된다.

이후 SSH 터널링을 설정하여 내부 IP를 통해 Airflow UI에 접근할 수 있다.

그리고 아래 명령어를 이용해 터널링을 해준다.

※ 주의해야할 점은 --sh-flag에서 앞에는 로컬에서 들어갈 PORT이고,

뒤에는 인스턴스에서 실행되고 있는 서비스의 PORT이다.

gcloud compute ssh <INSTANCE_NAME> --project <PROJECT_NAME> 
--zone asia-northeast3-a --ssh-flag="-L" --ssh-flag="<로컬 PORT>:localhost:<인스턴스 PORT>"

외부 IP가 없어서 디폴트로 IAP 터널링을 사용한다는 문구가 뜨고 다시 새로운 터미널이 뜨고 서버에 접속이 완료된다.

그 이후에 로컬 브라우저에서 127.0.0.1과 위에서 포워딩해준 port로 접속을 하면

원하는 서버에 터널링 되어 접속이 가능한 것을 확인 할 수 있다.

스크린 샷은 Airflow 서버가 아니지만 다른 모든 인스턴스에서도 다 터널링이 가능하다는 것을 보여주기 위해

첨부하였다 !

[pandas] Grand Total 구하기

밀뿌 — Mon, 9 Dec 2024 20:55:03 +0900

각 컬럼의 grand total (총 합계)를 구하고 싶을 때에는 아래와 같은 sum 함수에

numeric_only 파라미터를 True로 작성해주면 된다 !!

예를 들어보면 아래와 같은 데이터프레임이 있다고 하자

각 컬럼 별 총합을 구하고 싶으면 아래처럼 입력해준다

df.loc['Grand_Total']= df.sum(numeric_only=True, axis=0) #열 기준
df.loc[:,'Row_Total'] = df.sum(numeric_only=True, axis=1) #행 기준

그러면 이렇게 추가가 된다 !!

[Airflow] Gmail로 alert 메일 보내기(Email Operator 설정)

밀뿌 — Fri, 15 Nov 2024 22:33:35 +0900

Airflow Dag들이 실패하면 메일로 alert를 받아볼 수 있게

Email Operator를 설정해주려고 한다!

먼저 mail을 보낼 gmail 계정이 있어야 하기 때문에

없다면 먼저 google에 가입을 해준다.

1. Gmail의 IMAP 활성화

이제 구글에 로그인을 해서 IMAP를 켜줘야한다!

[Gmail] -> [설정] -> 모든 설정 보기 클릭!

[전달 및 POP/IMAP] -> [IMAP 액세스]에서

IMAP 사용을 체크 !!

2. SMTP 비밀번호 설정

이제 airflow config 파일에 넣어줄 smtp 비밀번호를 설정해준다.

smtp 비밀번호를 생성하기 위해선 먼저 2단계 인증이 설정되어야 한다.

그리고 앱 비밀번호를 만들어준다.

앱 비밀번호가 잘 안보였었는데 위에 검색창에서 검색했다.

앱 이름을 입력해주고 만들기를 클릭하면 다음처럼 16자리 앱 비밀번호가 생성된다!

이걸 잘 복사를 해놓는다.

3. Airflow config 파일 수정

위에서 생성한 smtp 정보를 airflow의 config 파일에 입력해준다.

airflow가 설치되어 있는 경로에 가서 아래와 같이 명령어를 입력해준다.

vi airflow.cfg

config 파일에 [smtp] 라는 항목이 보일 것 이다.

여기에서 아래와 같이 설정해준다.

smtp_host = smtp.gmail.com
smtp_starttls = True #default
smtp_ssl = False #default
smtp_user = 생성한 gmail
smtp_password = 발급 받은 16자리 패스워드(띄어쓰기 없이)
smtp_port = 587
smtp_mail_from = 생성한 gmail
smtp_timeout = 30
smtp_retry_limit = 5

config 파일을 수정해 준 뒤,

제대로 설정이 되게 airflow 서비스를 재기동 시켜준다.

그리고 airflow에서 일부러 오류를 내보았다 !!

import json
import logging
import requests
import pandas as pd
from datetime import datetime
from airflow import DAG
from airflow.operators.python import PythonOperator
from airflow.operators.email_operator import EmailOperator


logging.basicConfig(level=logging.DEBUG)


default_args = {
    'email_on_retry': False,
    'email_on_failure': True,
    'email' : ['sample@email.com']
}

with DAG(
    'email_test',
    default_args=default_args,
    schedule_interval='@once',
    start_date=pendulum.datetime(2024, 6, 1, tz="UTC"),
    tags=['email'],
    catchup=False
) as dag:

    #환율 구하는 API 호출
    def extract_currency(**kwargs):
	#코드 작성

    extract_task = PythonOperator(
        task_id='extract_currency',
        python_callable=extract_currency,
    )


    extract_task

오류를 만들어서 호출하였고 실행시켜보니까

오류가 발생했다는 alert 메일이 잘 도착했다 !!

[GCP] 랜딩존 설정으로 차단된 Google API 호출 (GA, GSC, Google Ads, Youtube)

밀뿌 — Fri, 15 Nov 2024 18:44:59 +0900

GCP 프로젝트가 랜딩존으로 들어가면서 네트워크 구성이 바뀌었다.

기존 내가 생성한 VPC에서 조직 범위에서 생성한 VPC가 공유되었고,

공유된 VPC를 써서 Google 소유의 API들 호출이 오류가 발생했다.

GA, GSC, Google Ads, Youtube 등...

발생한 오류는 다음과 같았다.

google.api_core.exceptions.permissiondenied: 403 received http2 header with status: 403

랜딩존 설정으로 인하여 API 주소를 찾지 못하고 있다.

해결 방법으로는 hosts 파일에 API를 직접 하나씩 등록해주어야 한다.

sudo vi/etc/hosts

hosts 파일은 root로 수정해야한다 !

그리고 아래와 같이 사용하는 API들을 넣어준다!

API 주소 앞에 IP는 GCP docs에서 찾았다.

https://cloud.google.com/vpc/docs/access-apis-external-ip?hl=ko#config-options

외부 IP 주소를 사용하여 VM에서 API에 액세스 | VPC | Google Cloud

의견 보내기 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 외부 IP 주소를 사용하여 VM에서 API에 액세스 네트워크 인터페이스에 할당된 외부 IP 주소가 있는

cloud.google.com

Google에서 제공하는 대부분의 API는 199.36153.8 IP를 쓰면 된다.

사용하는 API의 이름을 몰라도 걱정하지 않아도 된다.

GCP 콘솔에서 API 및 서비스에 가서 사용한 API들을 보면 아래와 같이 서비스 이름에 API 주소를 제공한다.

위 두 개를 확인해서 hosts 파일을 수정하고 다시 호출을 해보면

통신이 아주아주 잘 되는 것을 확인 할 수 있다 !!!!!!!!!!!!

눈물나는 폐쇄망 ..

[Airflow] GCP 내부 IP로 Airflow UI 접속하기

밀뿌 — Tue, 5 Nov 2024 19:10:01 +0900

GCP 프로젝트에서 고정 IP를 생성하여 인스턴스에 할당을 해주었다.

그래서 외부 IP로 Airflow UI에 접속하여 ETL 운영 작업을 했었는데

갑자기 보안 정책으로 인하여,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,

고정 IP를 제거하라는 요청이 들어왔다.

SSH 터널링을 이용해서 외부 IP 없이 내부 IP로 Airflow UI에 접속할 수 있다.

로컬 머신에서 GCP의 VM 인스턴스에 SSH로 연결한 후, Airflow UI에 접근할 수 있도록 포트를 포워딩

0. 사전 작업 (gcloud 설치)

gcloud sdk를 이용하여 로컬 기기에 ssh 연결을 해주어야 하기 때문에 gcloud cli를 입력할 수 있는 gcloud를 설치해야한다. 다음 링크를 들어가서 설치를 해준다.

https://cloud.google.com/sdk/docs/install?hl=ko

gcloud CLI 설치 | Google Cloud CLI Documentation

의견 보내기 gcloud CLI 설치 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 페이지에는 Google Cloud CLI 설치를 선택하고 유지하기 위한 안내가 포함되어 있습

cloud.google.com

설치 방법은 간단하고 설치가 완료되면 GCP 계정과 인증을 한 번 해야한다.

인증을 완료하면 위와 같은 화면이 출력된다 !

1. 로컬에 SSH 연결

위에서 설치한 Google Cloud SDK Shell을 실행하여 다음과 같은 명령어를 실행시킨다.

1. 현재 프로젝트 설정

gcloud config set project <PROJECT_ID>

2. 프로젝트 확인 (설정한 프로젝트가 올바른지 확인)

gcloud config get-value project

3. GCP 인스턴스 연결 확인

gcloud compute ssh <INSTANCE_NAME> --zone=<ZONE>

위 명령어로 SSH 연결이 성공하면 로컬 머신의 터미널에서 GCP 인스턴스에 접근할 수 있게 된다.

아래와 같이 터미널 창이 자동으로 켜지면서 인스턴스 접근을 확인할 수 있다.

SSH 연결에 성공했으니 이제 SSH 터널링을 설정 해야 한다.

2. 포트 포워딩

나의 경우 GCP 인스턴스 내에 있던 airflow web server의 port는 기본 port인 8080이다.

포트 포워딩을 해주려면 아래와 같은 명령어를 입력해준다.

※ 윈도우 기준 명령어 (ssh-flag 이용)

gcloud compute ssh <instance name> \
--project <project id> --zone <region> \
--ssh-flag="-L" \
--ssh-flag=“<target port>:localhost:<instance port>“

이번에도 마찬가지로 터미널 창이 자동으로 켜지면서 인스턴스 접근을 확인 할 수 있다.

그리고 브라우저 창을 열어 localhost와 포워딩 해준 port를 입력해서 접속해준다!!

접속이 잘 되는 것을 확인했다 !!!!!!!!!!!!!!

이제 외부 IP를 지우기 위해 GCP 내의 Compute Engine에 들어가서

고정 IP를 지울 인스턴스에 대해 [수정]을 해준다.

밑쪽으로 내리면 [네트워크 인터페이스 수정] 항목이 있는데

여기에서 외부 Ipv4 주소를 없음으로 변경해준다.

외부 IP 변경에는 인스턴스 중단이 필요 없어서 바로 완료를 눌러주면 설정이 바뀐다 !

다만 ssh 터널링 해준 터미널이 중단 되어서 다시 접속 해주어야 한다.

외부 IP가 없다는 경고 문구가 뜨고 알아서 포워딩 된다 !!!

정말 힘든 보안 정책이당,,,, ㅜ

[Airflow] Airflow db 변경

밀뿌 — Fri, 23 Aug 2024 20:25:04 +0900

전 글에서 잠깐 설명한 Airflow default DB를 sqlite에서 MySQL로 바꾸는 작업과

GCP 인스턴스에 설치한 Airflow를 서비스(데몬)으로 띄우는 작업에 대해서 글을 쓰려고 한다.

만약 아직 Airflow를 설치하지 않았다면 이전 글을 참고해서 Airflow부터 설치해야 한다.

https://milkyspace.tistory.com/127

[Airflow] 설치 (by.GCP 환경)

GCP에 Airflow를 설치하려면 당연히 인스턴스가 있어야 한다.혹시나 인스턴스 생성이 안되어 있다면 이전 게시글을 참조하면 된다. https://milkyspace.tistory.com/125 [GCP] VM Instance 생성 및 고정 IP 할당GCP

milkyspace.tistory.com

3. MySQL 설치 및 db생성, 계정 권한 부여

Airflow의 DB를 MySQL로 변경하기 전에 먼저 설치를 해야 한다.

설치 방법은 apt-get 명령어를 이용해서 쉽게 설치할 수 있다.

MySQL 설치

sudo apt-get install mysql-server
sudo apt-get install mysql-client  libmysqlclient-dev pkg-config
sudo apt-get install python3-dev default-libmysqlclient-dev build-essential

아래 명령어를 입력해서 mysql 서버로 접속이 되면 설치는 쉽게 완료되었다.

/usr/bin/mysql –u root –p

# password는 그냥 엔터

db생성 및 계정 권한 부여

위에 명령어로 MySQL을 설치해주고 난 뒤,

MySQL 서버에 접속하여 Airflow meta data와 dag들을 저장할 airflow 전용 db를 생성해준다.

나는 관리의 용이성을 위해 airflow 전용 사용자를 추가로 만들어주어서 진행했다.

(사실 아래 스크린샷에는 user를 만들지 않고 그냥 root에 권한을 주었는데 이렇게 되니까 뒤에서 꼬여서 admin이라는 user로 다시 생성해주었다..ㅜ)

#mysql 접속
mysql -u root -p

#airflow db 전용 user 생성
mysql> create user '{user명}'@'localhost' IDENTIFIED BY '{패스워드}';

#airflow db 생성
mysql > create database airflow(db명);

#airflow user에 airflowdb 권한 부여
mysql> GRANT ALL PRIVILEGES ON airflow(db명).* TO '{user명}'@'localhost';

4. Airflow db 변경(MySQL)

위에서 생성한 MySQL로 이제 Airflow의 DB를 변경해주는 작업을 진행하면 된다.

어려운 방법은 아니고 config 정도만 바꿔주고 초기화를 해주면 된다.

airflow.cfg 수정

Airflow가 설치된 경로에 가서 airflow.cfg 파일을 찾아서 vi로 열어준다.

그 파일에서 쭉 내리다 보면 다음과 같은 세 개의 변수들이 보일 것이다.

이 세 개의 설정을 아래와 같이 변경해주면 된다.

여기도 mysql user가 root로 되어있는 스크린샷인데 꼭 airflow user로 변경 해주어야 한다!! ㅠ

[참고. executor]

설정값	의미
SequentialExecutor (Default)	task가 한 번에 한 개만 수행 - Airflow DB가 sqlite(싱글작업만 가능)일 때 유일하게 가능한 executor 설정
LocalExecutor	task들이 local에서 병렬적으로 수행 - Unlimited Parallelism : task 개수 제한 없음 - Limited Parallelism : task 개수 제한 있음 (task queue 존재)

추가 설정

Airflow에 MySQL을 연결하기 위해 필요한 패키지를 추가로 설치해 주었다.

pip install mysqlclient

dags 폴더 생성

airflow.cfg에 보면 dag들 경로도 설정되어 있는 부분이 있는데

이 폴더는 default로 존재하지 않아서 추가로 dags라는 폴더를 생성해주었다.

airflow db init (초기화)

이제 설정을 끝낸 MySQL과 Airflow를 연결시키기 위해 Airflow의 DB를 초기화 해준다.

초기화를 해주면 위와 같이 mysql과 연결되었다는 메세지를 확인할 수 있다.

그리고 mysql에 생성한 airflow db의 table를 확인해보면 airflow meta table들이 생겼는지 한 번 더 확인을 해준다.

아래처럼 잘 보이면 Airflow의 db가 정상적으로 변경된 것이다.

Airflow 계정 생성

이제 Airflow를 접속할 계정을 생성해준다.

계정을 생성하는 명령어는 다음과 같다.

airflow users create \ 
--username <유저ID> \ 
--firstname <유저 firstname> \ 
--lastname <유저 lastname> \ 
--role <유저 role> \ 
--email <유저 email>

Airflow Server 실행 및 로그인

생성한 user와 db 전환이 잘 되었는지 Airflow Webserver를 실행하고 접속을 해보려고 한다.

다음과 같은 명령어로 airflow webserver를 기동 시킬 수 있다.

이전 글에서 airflow를 설치할 때 설정해준 port를 넣어주면 된다.

airflow webserver -p 8080

이제 직접 UI에서 접속을 해보자 !

접속이 잘 되는 것을 확인 했고 원래 sample dag들이 몇 개 있는데,

위에서 airflow.cfg 파일에서 load_example를 False로 변경해주어서 sample dag들은 없다.

이제 설치는 아주 정상적으로 되었다.

아래부터는 선택사항인데 Airflow의 webserver와 scheduler가 GCP 서버가 시작되면 자동으로 시작되도록 서비스로 등록해줄 것이다.

5. Airflow의 webserver와 scheduler 서비스 등록

먼저 airflow-webserver와 airflow-scheduler를 서비스로 만들어준다.

#airflow-webserver.service 생성
sudo vi /etc/systemd/system/airflow-webserver.service

[Unit]
Description=Airflow webserver daemon
After=network.target mysql.service
wants=mysql.service

[Service] 
Environment="AIRFLOW_HOME=/home/airflow/airflow"
User=airflow 
Group=airflow 
Type=simple
ExecStart=/usr/local/bin/airflow webserver 
Restart=on-failure 
RestartSec=5s 
PrivateTmp=true

[Install]
WantedBy=multi-user.target

#airflow-scheduler.service 생성
sudo vi /etc/systemd/system/airflow-scheduler.service

[Unit]
Description=Airflow scheduler daemon
After=network.target mysql.service
wants=mysql.service

[Service]
Environment="AIRFLOW_HOME=/home/airflow/airflow" 
User=airflow 
Group=airflow 
Type=simple
ExecStart=/usr/local/bin/airflow scheduler
Restart=on-failure
RestartSec=5s
PrivateTmp=true

[Install]
WantedBy=multi-user.target

그리고 데몬을 재실행 해준다.

cd /usr/bin/python3 
sudo systemctl daemon-reload

그리고 아래 명령어를 입력해주면 GCP 인스턴스가 실행 시 자동으로 Airflow가 시작되게 할 수 있다.

#서버 실행시 자동으로 시작되게끔 하기
sudo systemctl enable airflow-webserver 
sudo systemctl enable airflow-scheduler

#서비스 시작하기
sudo systemctl start airflow-webserver 
sudo systemctl start airflow-scheduler

#서비스 상태 확인하기
sudo systemctl status airflow-webserver 
sudo systemctl status airflow-scheduler

이제 설치랑 환경 설정은 모두 끝났고 Airflow의 Dags들만 잘 만들어서 ETL 파이프라인 개발에 사용하면 된다 !!!!!!!!!

[Airflow] 설치 (by.GCP 환경)

밀뿌 — Thu, 22 Aug 2024 19:42:19 +0900

GCP에 Airflow를 설치하려면 당연히 인스턴스가 있어야 한다.

혹시나 인스턴스 생성이 안되어 있다면 이전 게시글을 참조하면 된다.

https://milkyspace.tistory.com/125

[GCP] VM Instance 생성 및 고정 IP 할당

GCP에 VM Instance를 생성하는 법은 간단한 클릭 몇 번만으로 할 수 있다. 먼저 GCP에 로그인 한 후,[Compute Engine] → [VM 인스턴스] → [인스턴스 만들기] 를 클릭한다. 1. 머신 구성그리고 서버 용도에

milkyspace.tistory.com

1. 사전 작업

GCP에 Airflow를 설치하기 전에 먼저 해주어야 할 작업이 있다.

계정 생성과 Python을 설치해 주어야 한다.

Service를 사용하지 않으면 계정은 굳이 만들지 않아도 되긴 하지만 나는 Service를 만들어서 띄우기 위해 계정을 생성하려고 한다.

Airflow 계정 생성

Airflow 계정을 생성하고 비밀번호를 설정해주었다.

sudo groupadd airflow
sudo useradd -m -d /home/airflow -g airflow airflow 
sudo passwd airflow

Python, pip 설치

Python과 이후 라이브러리들을 쉽게 받기 위해 pip도 함께 설치해준다.

그런데 새로 생성한 계정에 sudo 권한이 없어서 먼저 sudo 추가를 해준다.

Python, pip 설치 및 버전 확인을 해준다.

위에서 생성한 airflow 계정으로 설치를 하는게 맞는데 계정 로그인을 다시 안해서.. root 권한으로 설치한 스크린샷으로 대체하였다.. ㅎ

추가로 이후 airflow dag에서 사용할 라이브러리들도 미리 설치하였다.

pip install google-analytics-data
pip install pandas
pip install Python-dateutil
pip install google-cloud-bigquery
....

2. Airflow 설치

Airflow에 공식 가이드 문서가 있어서 이 docs를 참조해서 설치하였다.

https://airflow.apache.org/docs/apache-airflow/stable/start.html

Quick Start — Airflow Documentation

airflow.apache.org

airflow@airflow-server:~# echo 'export AIRFLOW_HOME=~/airflow' >> ~/.bash_profile
airflow@airflow-server:~# source ~/.bash_profile

airflow@airflow-server:~# AIRFLOW_VERSION=2.9.1
airflow@airflow-server:~# PYTHON_VERSION="$(PYTHON3 --version | cut -d " " -f 2 | cut -d "." -f 1-2)"
airflow@airflow-server:~# CONSTRAINT_URL="https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt"
airflow@airflow-server:~# sudo pip install "apache-airflow==${AIRFLOW_VERSION}" --constraint "${CONSTRAINT_URL} "

airflow@airflow-server:~# airflow standalone

설치 당시(2024.05) 최신 버전이었던 2.9.1을 설치해주었다.

맨 밑에 airflow standalone 명령어를 입력하면,

Airflow는 $AIRFLOW_HOME폴더를 생성하고 기본 값으로 "airflow.cfg" 파일을 생성하여 빠르게 작업할 수 있다.

환경 변수를 사용하여 기본 값을 재정의 할 수 있게 된다. 또한 airflow 서버가 기동된다.

성공적으로 설치를 진행했다면, Listening 정보, username, password 를 확인할 수 있다.

위에서 기동된 airflow에 접속을 해보려고 하는데 맨 처음 GCP 인스턴스를 생성했으면 아무런 방화벽 정책이 적용되어 있지 않을 것이다. 그래서 방화벽 규칙 추가부터 해주어야 한다.

[VPC 네트워크] → [방화벽]을 클릭해준다.

방화벽 규칙 만들기를 클릭해주고 아래처럼 airflow default port인 8080을 허용해준다.

허용을 해주고 서버의 IP(혹은 127.0.0.1 혹은 localhost):8080으로 접속하면 아래처럼 airflow 로그인 화면이 보일 것이다. 여기서 위에서 알려준 계정(admin)으로 접속을 하면 성공적으로 설치된 것이다.

일단 설치는 완료되었지만 추가로 작업해주어야 할 사항이 있다.

airflow의 default db는 sqlite이다.
sqlite는 task 병렬 처리가 되지 않아서 싱글 작업만 할 경우에는 default db를 사용해도 무관하지만
내가 개발한 파이프라인에는 task들이 병렬로 수행해야 하는 로직이 있다.
이러한 경우에 airflow의 db를 MySQL 이나 PostgreSQL로 변경해주어야 한다.
그래서 airflow가 설치된 서버에 MySQL 을 설치하고 airflow의 config 파일 변경 작업이 필요하다.
MySQL 설치부터 환경 설정은 다음 게시글에서 작성하려고 한다.

[GCP] VM Instance 생성 및 고정 IP 할당

밀뿌 — Wed, 10 Jul 2024 19:50:40 +0900

GCP에 VM Instance를 생성하는 법은 간단한 클릭 몇 번만으로 할 수 있다.

먼저 GCP에 로그인 한 후,

[Compute Engine] → [VM 인스턴스] → [인스턴스 만들기] 를 클릭한다.

1. 머신 구성

그리고 서버 용도에 맞는 머신의 스펙을 설정한다.

나는 데이터를 daily로 ETL하기 위한 Airflow가 운영될 환경이라서 다음과 같은 스펙을 선택했다.

리전 별, 머신 시리즈별로 CPU의 최대 코어수가 정해져있다.

([IAM 및 관리자]→ [할당량 및 시스템 한도]로 가면 확인이 가능하다.)

증액 요청을 하면 되긴 하는데 시간이 오래 걸릴 것 같아서 우선 해보고 나중에 부족하면 늘리기로 하였다.

그리고 부팅 디스크는 100GB로 늘려주었다.

default가 10G였던 것 같은데 이게 나중에 되면 은근 부족하다고 해서 처음부터 그냥 크게 잡아두었다.

airflow 서버를 띄울 것이기 때문에 방화벽도 체크를 해주었다.

이제 고정 IP를 할당해주어야하기 때문에 아직 생성은 클릭하면 안돼요 !!

2. 고정 IP 할당

Airflow 서버를 띄워야하기 때문에 airflow UI에 접근할 수 있는 고정 IP를 할당해야 한다.

방화벽 체크도 하고 밑에 고급 옵션이라는 항목이 있다.

이걸 열어주면 네트워크 인터페이스 부분이 나온다.

살펴보면 default인 값이 하나 있고,

그 밑에 네트워크 인터페이스 추가 버튼이 있다.

이걸 클릭해준다.

그러면 다음과 같이 초기 셋팅이 되어 있는 항목들이 뜬다.

중간에 외부 Ipv4주소라는 임시라고 체크되어 있는 리스트가 있는데

이걸 선택하고 고정 외부 IP 주소 예약을 선택한다.

그러면 고정 주소 예약을 할 수 있는 환경이 뜨고 여기에서 다음과 같이 선택해주었다.

아직 인스턴스가 생성되기 전이기 때문에 연결 대상은 없음으로 두어야 한다.

그리고 다시 인스턴스 생성하는 곳으로 와서 외부 IPv4를 방금 생성한 고정 주소로 선택해준다.

이제 만들기를 클릭하면 인스턴스가 생성된다 !!!!!!!

LinkedIn Ads API 드디어 개발 완료

밀뿌 — Sat, 8 Jun 2024 13:02:43 +0900

LinkedIn API는 구조도 복잡하기로 유명하고(스택 오버플로우 진짜 정독 몇 경번 함)

광고 쪽 도메인 날리지는 없어서 무슨 지표인지 맨날 찾으러 다녔던 눈물의 2개월

드디어 LinkedIn 로직 개발 완료 했다 ...

은근 예외처리가 많이 들어가서 조금 벙쪘는데 그래도 뿌듯하당

그리고 요즘 일하는게 재밌따 ...

짜증은 나는데 사람들 만나는 것보다 조금 더 재밌어진 느낌

요즘 복잡한 일이 너무 많이 생겨서 걱정 인형인 나에게 다른 잡생각들이 덜해지는 것 같다

그래도 몸은 힘들지만 정신은 요즘 들어서 제일 맑아진 시기인 것 같다. 휴

이제 나머지 리소스 7개만 20일만에 더 개발하면 된다 ! ^^

화이팅,,

GCP Repositories를 사용해서 Airflow DAG 반영하기

밀뿌 — Fri, 17 May 2024 21:49:33 +0900

GCP에서 스케줄 작업을 할 때 가장 많이 사용하는 방법이

VM Instance에 Airflow를 설치해서 사용하는 방법이다.

소스의 편한 형상관리와 Airflow DAG 코드를 쉽게 반영하기 위해서

GCP의 Repositories를 사용한다.

그래서 이번에는 GCP의 Repositories를 사용해서 DAG 코드를 Airflow 서버에 반영하는 방법에 대해서 간단하게 설명하려고 한다.

여기서 구성할 DAG는 Open API인 환율 구하는 API를 사용해서 전처리하여 daily로 해당일의 환율을 빅쿼리에 적재하려고 한다.

[DAG 코드는 다음과 같이 작성한 상태]

환율 API 호출(extract) → 판다스를 통한 전처리(transform) → 빅쿼리 적재(load)

환율 API

API 호출을 위한 인증 키는 미리 발급 받아야함

1. 빅쿼리 테이블 생성

먼저 데이터를 적재할 테이블을 생성해주어야 한다.

데이터 세트(스키마 개념)를 만들어주고

생성된 데이터 세트에서 테이블을 생성해준다.

다음과 같이 UI로 해도 되고 DDL 문을 사용해서 만들어주어도 된다.

나는 바로 적재할 예정이기 때문에 빈 테이블을 선택하였다.

기존에 GCS(Storage)에 있는 테이블을 선택하려면 테이블을 만들 소스를 변경해주면 된다.

그러면 테이블이 생성된 것을 확인할 수 있다.

2. Repositories Clone

DAG 코드를 Repositories에서 관리하기 위해 Repositories를 생성하고 연결을 해주어야 한다.

Repositories를 Clone해서 로컬 VS Code에서 보다 편하게 관리하려고 한다.

Clone를 하기 위해선 SSH 인증을 받아야한다.

SSH 인증 방식은 여러가지가 있지만 나는 Google Cloud SDK를 사용해서 인증할 예정이다.

인증 방법 참고 : https://cloud.google.com/source-repositories/docs/authentication?hl=ko#windows

아래처럼 Repositories에서 [클론]을 누르면 [설정 방법 보기]가 나오는데 이걸 클릭해준다.

그러면 다음과 같이 SDK를 이용한 인증 방법이 자세하게 나온다.

우선 SDK를 설치해야한다.

설치 링크 : https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe?hl=ko

위의 설치 링크를 통해서 설치를 해보자 !

설치 방법은 간단하다.

그리고 바로 Google Cloud SDK Shell을 실행시켜서 SDK command들을 실행시켜주면 된다.

첫번째 command를 입력한다.

그러면 browser가 열리면서 인증을 하라는 내용이 뜬다.

인증 방법은 간단하게 로그인만 해주고 승인을 해주면 된다.

그리고 나서 다시 SDK Shell에 나머지 command를 입력해준다.

push까지는 해주지 않아도 되고 clone만 해도 된다.

clone를 하고 난 뒤 VS code로 와서 clone한 repo를 선택해준다.

그리고 동의를 한 번 해주면 clone뜬 repo가 vs code와 연동이 된다.

Airflow에 반영할 DAG를 새로 작성하고 Push를 했더니 다음과 같은 오류가 발생하였다.

config를 해주지 않아서 발생한 오류이다.

SDK Shell에서 이름과 이메일을 설정해준다.

config를 수정하고 다시 push를 하면 정상적으로 Repositories에 반영된 것을 확인할 수 있다.

3. Airflow 반영(pull)

위의 과정을 통하여 Repositories에 push한 소스들을 airflow 서버에서 pull을 해주어야 DAG들이 반영이 된다.

VM 인스턴스에서 SSH 연결을 통하여 airflow에 접속한다.

airflow를 설치할때 사용한 설치 계정으로 login을 해준다. (sudo login airflow계정)

그리고 git이 설치되어 있는 경로로 가서 pull을 해주면 된다.

airflow 서버에 가보면 DAG가 반영된 것을 볼 수 있다!!

실행을 시키면 ETL 작업이 정상적으로 완료된 것을 확인할 수 있다.

최종 적재 타겟인 빅쿼리 테이블에서도 확인을 해주면 된다.

[Meta Ads] Meta(Facebook) Marketing API 연결

밀뿌 — Mon, 13 May 2024 22:11:16 +0900

Meta에도 Marketing API가 존재한다.

광고 캠페인에 대한 지표를 보기 위해서 Meta의 API를 호출해서 데이터를 적재하는 파이프라인을 개발하였다.

Meta의 Marketing API를 연결하려면 다음과 같은 순서대로 진행하면 된다.

1. Business Manager 권한 부여

API를 호출하려면 먼저 비즈니스 포트폴리오에 전체 관리 권한이 필요하다.

나의 경우 회사의 계정이다보니 비즈니스 포트폴리오를 관리하시는 분이 따로 계셔서 권한 부여를 요청하였다.

2. 앱 만들기

권한이 부여된 것을 확인하고 앱을 만들어서 API를 호출하는 토큰과 사용하려는 API를 설정해준다.

다음처럼 개발자 지원 센터로 이동하여 앱 만들기를 클릭한다.

다음으로 기타를 클릭해준다.

그 다음에는 비즈니스를 선택한다.

그 다음으로는 비즈니스 포트폴리오를 선택한다.

데이터를 가져오려는 비즈니스 포트폴리오를 선택해준다.

그러면 앱이 만들어진다 !

그리고 앱에 재품을 추가해주어야 하는데 나는 Marketing API를 사용할 것이기 때문에

마케팅 API를 선택하여 내가 만든 앱에 추가를 해준다.

3. 토큰 받기

이제 앱 생성은 마쳤고 앱의 ID와 시크릿코드, 마케팅 API 호출할 때 필요한 토큰을 생성해주어야한다.

[앱 대시보드] → [앱 설정] → [기본 설정]으로 가면

앱 ID와 앱 시크릿 코드를 볼 수 있다.

이걸 잘 복사해준다.

다음으로는 마케팅 API를 호출하기 위해 토큰을 생성해야한다.

역시 [앱 대시보드] → [마케팅 API] → [도구]에서 필요한 권한을 선택하고 토큰 받기를 클릭해준다.

그러면 바로 밑 박스에 토큰이 생성된다.

이 토큰은 다운로드가 되지 않아서 잘 복사해서 사용해야한다.

4. 간단한 API 호출 코드 작성 (Requests)

위에서 얻은 정보를 바탕으로 campaign과 insight fields를 조회하는 코드이다.

account는 admanager에 있는 id를 넣어주면 된다.

앞에는 꼭 "act_"를 붙여줘야함!!!

(안 보이기는 하는데 ... 빨간색 네모의 id)

ver = "v19.0"
account = 'act_{accountid}'
token = '{Insert Token}'

insights = 'campaign_name,adset_name,ad_name,impressions,clicks,reach,spend,conversions,conversion_values'
url = f"https://graph.facebook.com/{ver}/{account}/insights"

params = {
    'fields': insights,
    'access_token': token, 
    'level': 'ad',
    'time_range[since]' : '2024-01-01',
    'time_range[until]' : '2024-01-28',
    'action_report_time' : 'conversion',
    'use_unified_attribution_setting' : 'true',
    "action_breakdowns": "action_type",
}


r = requests.get(url = url, params= params )
print(r.url)

if r.status_code != 200:
    print("something went wrong :",r.text)
    assert r.status_code == 200
else:
    content = r.text
    content_json = json.loads(content)
    print(content_json)

운영 중인 마케팅 광고데이터라서 좀 많이 가리지만 다음과 같이 호출되는 것을 볼 수 있다. ㅎ

그런데 fields에 conversions 관련 metrics들은 넣어주었음에도 불구하고 출력이 안되어서

추후에 확인해야할 내용이다ㅜ

Request를 써서 직접 호출하지 않고 SDK를 써서 라이브러리로 호출하는 방법은 아래 링크를 참고하면 될 것 같다.

https://developers.facebook.com/docs/business-sdk/getting-started/#meta-business-sdk

시작하기 - Meta Business SDK - 문서 - Meta for Developers

Meta Business SDK 시작하기 이 문서에서는 Meta Business SDK를 설치하고 해당 설치를 테스트하는 방법을 설명합니다. SDK는 Java, JavaScript, PHP, Python 및 Ruby에서 사용 가능합니다. 마케팅 API가 이미 설치되

developers.facebook.com

Google Analystic4(GA4) API 연결 (GCP 환경)

밀뿌 — Tue, 30 Apr 2024 20:41:41 +0900

이번 프로젝트에서 GCP 환경에서 GA4의 데이터를 불러와야하는 작업이 생겼다.

데이터 ETL 파이프라인을 개발하고 대시보드까지 구축해야하는데

As-Is에서는 대시보드를 lookerstudio로 썼기 때문에 바로 커넥터를 사용해서 연결을 했었다.

To-Be 환경은 태블로 서버를 GCP Instance에 구축할 것이라 GA의 API를 사용해서 데이터를 적재할 예정이다.

우선 GCP 환경이기 때문에 프로젝트를 생성해야한다.

만약 프로젝트부터 생성해야한다면 여기를 통해 생성하면 된다.

1. GA API enable

먼저 생성한 프로젝트에서 GA의 API를 사용할 수 있도록 API를 enable 해주어야한다.

[API 및 서비스] → [라이브러리]에서 GA 관련 API를 선택한다.

혹은 아래 링크를 통해 접속해도 된다.

https://console.cloud.google.com/apis/library?supportedpurview=project

우선 나는 제일 먼저 보이는 API를 선택했는데 내가 전처리해야 될 데이터가 더 있어서 다음 API를 추가로 사용해주었다.

2. IAM Service Account 생성

다음으로는 API를 호출할 서비스 계정을 생성해주어야 한다.

서비스 계정으로 인증키를 생성하고 이 키를 이용해 서버 간의 인증을 한다.

[IAM & Admin] → [Service Accounts]를 선택한다.

그러면 서비스 계정 생성이 보이는데 이걸 클릭해준다.

다음과 같이 account ID만 넣어주면 특별한 설정없이 생성은 빠르게 가능하다.

그러면 ~@~iam.gserviceaccount.com 이라는 계정이 만들어지고 이 계정이 앞으로 API 서비스를 이용할 때 사용할 계정이다.

생성한 서비스 계정을 선택하고 [KEYS] 항목으로 들어가면 키를 생성할 수 있는 화면이 뜬다.

다음처럼 키를 생성하면 된다.

어떤 방식으로 키를 생성할건지를 묻는 팝업이 뜨는데 JSON을 선택해주면 된다.

다음처럼 키가 생성된 것을 볼 수 있고 바로 JSON 형태로 파일이 다운받아지는데

이 파일은 키를 생성할 때 한 번만 생성되기 때문에 잘 보관을 해야한다.

만약 분실하였을 경우에는 키를 다시 만들고 코드마다 키의 이름을 변경해주어서 아주아주 귀찮은 일이 발생할 수 있다.

3. GA에 Service Account 권한 추가

이제 GCP 계정에서 API 호출할 준비는 끝났고

데이터를 불러올 GA에 위에서 생성한 서비스 계정에 권한을 부여해주어야 한다.

기존에 권한을 받았다고 하더라도 우리가 통신할 계정은 서비스 계정이기 때문에

~@~iam.gserviceaccount.com 이 계정에 최소 Read 권한을 주어야한다.

권한을 주지 않으면 데이터를 읽을 수가 없다.

관리자 권한으로 GA를 접속한다.

다음과 같이 Admin 페이지로 들어가서 계정 엑세스 관리를 클릭한다.

오른쪽 상단에 사용자 추가를 선택하고 위에서 생성한 서비스 계정을 추가해준다.

권한은 뷰어 이상만 주면 된다.

몇 번 강조하지만 꼭 서비스 계정( ~@~iam.gserviceaccount.com)에 부여해주어야 한다.

4. Python으로 API 호출

이제 파이썬으로 API를 호출해보는 간단한 코드를 실행시켜 보자.

아래에 지표들이 여러 개 나오는데 google docs를 찾아보면서 하면 조금 더 이해가 편할 것 같다!!

https://developers.google.com/analytics/devguides/reporting/data/v1/api-schema?hl=ko#metrics

import os

from google.analytics.data_v1beta import BetaAnalyticsDataClient
from google.analytics.data_v1beta.types import (
    DateRange,
    Dimension,
    Metric,
    RunReportRequest,
)

os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'GCP-Keyfile.json'

property_id="GA4-PROPERTY-ID"
client = BetaAnalyticsDataClient()

request = RunReportRequest(
    property=f"properties/{property_id}",
    dimensions=[Dimension(name="city")],
    metrics=[Metric(name="activeUsers")],
    date_ranges=[DateRange(start_date="2024-04-01", end_date="today")],
)
response = client.run_report(request)

print("Report result:")
for row in response.rows:
    print(row.dimension_values[0].value, row.metric_values[0].value)

GOOGLE_APPLICATION_CREDENTIALS에는 2번에서 서비스 계정을 생성하고 다운로드 받은 Key Json 파일의 이름을 넣어주면 된다.

property_id는 GA로 가서 보면,,

보안 때문에 다 가려져서 안 보이기는 하는데 App 이름 밑에 숫자로 된 App ID가 있을 것이다.

이 숫자를 넣어주면 된다.

위 코드는 단순하게 Dimension을 City로 주고 활성 유저수를 Metrics로 주고 조회하는 코드이다.

다음처럼 응답을 잘 받으면 연동 완료이다.

API의 Metrics나 Dimension은 여러 개를 넣고 호출해도 가능하다.

request = RunReportRequest(
    property=f"properties/{property_id}",
    dimensions=[
        Dimension(name="pagePath"),
        Dimension(name="country"), 
        Dimension(name="deviceCategory"), 
    ],
    metrics=[
        Metric(name="totalUsers"),
        Metric(name="sessions"),
        Metric(name="screenPageViews"),
        Metric(name="bounceRate"),
    ],
    date_ranges=[DateRange(start_date='2024-04-01', end_date='2024-04-30')],
     dimension_filter=FilterExpression(
             filter=Filter(
                 field_name="pagePath",
                 string_filter=Filter.StringFilter(value="/tistory", 
                                                   match_type=Filter.StringFilter.MatchType.CONTAINS),
             )
         )
)


# run request
response = client.run_report(request)

data = []

for row in response.rows:
    dimension_values = [value.value for value in row.dimension_values]
    metric_values = [value.value for value in row.metric_values]
    data.append(dimension_values + metric_values)

columns = [dimension.name for dimension in response.dimension_headers] + [metric.name for metric in response.metric_headers]

df = pd.DataFrame(data, columns=columns)

위 코드는 여러 개의 Metrics, Dimension

추가로 filter로 원하는 조건만 추출할 수 있게 작성한 코드이다.

그리고 데이터프레임으로 만들어서 전처리를 해야하기 때문에 데이터 프레임으로 만들어 주었다.

이제 필요한 데이터로 만들어주면 된다.

[Python] URL encoding (request 파라미터 ASCII 변환)

밀뿌 — Tue, 26 Mar 2024 21:10:31 +0900

요즘 LinkedIn Ads API를 통해 ETL 로직을 개발하고 있다.

그런데 LinkedIn Ads의 API는 정말 당황스럽다.

docs도 잘 되어있지 않고 호출할 파라미터들은 중구난방이고

원하는 정보를 얻으려면 호출의 호출의 호출을 통해서 얻을 수 있었다...

그리고 무엇보다 request params들이 꼭 특수문자로"만" 들어와야지 호출이 된다.

(근데 campaign 관련 urn 파라미터는 아스키코드로"만" 들어와야지 호출가능 .. ㅎ)

그렇지 않으면 400(Bad Request) 오류가 떨어진다.

그래서 해결 방법을 찾은게 바로 urllib.parse 모듈의 urlencode 함수를 써서 특수문자들이

아스키 코드가 아닌 특수문자 그대로 처리되게 예외처리를 해주었다.

urlencode 함수는 str이나 bytes 객체를 포함할 수 있는 매핑 객체나 두 요소 튜플의 시퀀스를

퍼센트 인코딩된 ASCII 텍스트 문자열로 변환해준다.

이 때 결과 문자열을 urlopen() 함수를 사용하여 POST 연산을 위한 data로 사용하려면,

바이트열로 인코딩해야 하고 그렇지 않으면 TypeError가 발생한다.

퍼센트 인코딩이란?

URL 인코딩은 퍼센트 인코딩이라고도 불리며 URL에 문자를 표현하는 문자 인코딩 방법
알파벳이나 숫자 등 몇몇 문자를 제외한 나머지는 1바이트 단위로 묶인 16진수(ASCII)로 인코딩하는 방식

해주어야하는 이유?

GET 방식을 통해 HTTP 요청을 할 때 쿼리 파라미터가 붙는 경우가 생기는데 URL은 ASCII 코드값만 사용된다.
이 쿼리 파라미터에 한글이 포함될 경우, ASCII 코드만으로 표현을 할 수 없어서 인코딩을 해야한다.
호출하는 API마다 쿼리 파라미터에 한글 문자 그대로를 지원하는 경우도 있지만 그렇지 않은 경우도 있으므로
미리 인코딩을 거친 형식으로 전송하는 것이 바람직하다.

사용 방법은 아래와 같다.

urllib.parse.urlencode(query, doseq=False, safe='', 
                encoding=None, errors=None, quote_via=quote_plus)

위 코드에서 query만 required 값이라 변환대상만 넣어주어도 되고

나의 경우 ASCII로의 변경을 막아야해서 safe 파라미터에 변환하지 않을 특수문자들을 넣어주었다.

파라미터 값이 괄호, 컴마, 콜론, 등호 등등이 있어서 해당하는 값들은 모두 넣어주었다.

campaigngroup_params = urllib.parse.urlencode(campaigngroup_params, safe='#\':()+=%,')

그리고 호출을 다시 한 결과 response code가 200으로 잘 호출이 되었고 원하는 resonse 값도 얻을 수 있었다.

Postman에는 저런 값들이 인코딩이 잘되어서 오류가 발생하지 않았는데 파이썬으로 호출할 때 발생하였고

오류를 잘 해결해서 API도 잘 불러왔다.

[LinkedIn Ads] Advertising API 호출하기!

밀뿌 — Tue, 12 Mar 2024 17:38:05 +0900

LinkedIn의 Ads 쪽 데이터를 API로 호출해서 적재하는 파이프라인을 만들려고 한다.

API 호출을 단순 Auth로 하면 될 줄 알았는데 생각보다 복잡한 절차가 있어서 정리하려고 한다.

1. LinkedIn Developers에서 App 생성

LinkedIn API를 연동하기 위해서는 LinkedIn Developers(https://developer.linkedin.com/)에서 app을 생성 해야한다.

앱의 이름과 LinkedIn Page, 그리고 로고 이미지를 넣고 앱을 생성하면 된다.

앱은 바로 생성이 되고 내가 필요한 Advertising API를 Request해야하는데 블락이 되어 있다.

앱을 생성하면서 넣어주었던 회사의 LinkedIn 계정 담당자가 승인을 해주어야 API를 요청할 수 있다.

계정 담당자가 승인할 수 있는 URL을 전달해주어야 하는데 URL 생성 방법은 다음과 같다.

[설정] 탭으로 가서 Verify를 클릭

Verification URL 에서 URL 생성을 클릭해주면 URL이 생성이 되고 이를 복사해서 LinkedIn 계정 담당자에게 전달을 하면 된다.

URL은 30일 동안 유효하고 시간이 지나면 URL을 다시 생성해서 전달해주어야 한다.

2. Advertising API 권한 요청

회사와 연결이 되면 [제품] 탭으로 가서 Advertising API에 대해 권한을 요청한다.

권한을 요청하면 다음과 같은 팝업이 뜨고 동의한다는 내용에 체크를 해주면 신청이 완료된다.

권한 요청을 하면 다음과 같이 뜨고 시간이 좀 지나면 액세스를 요청하는 form 링크가 뜬다.

form을 작성하고 요청을 제출하면 된다.

4페이지까지 있고 누락되는 경우 API 허용이 거절된다고 하니 잘 써야 할 것 같다.

승인까지는 하루 정도가 걸린다고 한다.

길게는 하루 정도가 소요된다고 했는데 나의 경우는 약 10분..? 정도 뒤에 다음과 같은 화답 메일이 왔다.

2-1. Advertising API에 광고 계정 추가(선택 사항)

광고 계정을 추가하는 단계이다. 해당 작업은 optional로 추가하긴 했는데 차이점을 잘 못느끼겠다.

(만약 나중에 차이점을 발견하면 추가로 기재해두겠습니다..)

form 작성을 완료한 Advertising API에서 View Ad Account를 클릭한다.

그러면 Ad 계정이 비어있고 Add Ad Account 버튼이 있고 이를 눌러주고 Ad Account Number을 넣어주면 된다.

이 Number는 캠페인 매니저에 있는 Ad Account Number을 넣어주면 된다.

3. Postman으로 액세스 토큰 생성

LinkedIn Developer Portal로 이동해서 Auth에 있는 Client ID와 Client Secret를 확인한다.

그리고 바로 밑에 카드에서 OAuth 2.0 Setting로 가서 URL을 추가해준다.

다음과 같이 연필 모양을 클릭하면 Add redirect URL이 뜨고 추가할 수 있다.

다음과 같이 두 개의 URL을 추가해준다.

(사실 browser이 들어있는 URL만 추가해주어도 되는데 공식 Docs에서 두 개를 넣어주었길래 다 넣었당..)

https://oauth.pstmn.io/v1/browser-callback
https://oauth.pstmn.io/v1/callback

이제 Postman을 열고 Auth 탭으로 이동하고 Type을 OAuth 2.0으로 변경해준다.

새로운 토큰을 생성해야 하는데 토큰 생성 관련 정보를 아래와 같이 입력해주고 Get New Access Token을 클릭해준다.

Grant Type = Authorization Code
Callback URL = https://oauth.pstmn.io/v1/browser-callback

주의!!
여기서 Callback Url을 https://oauth.pstmn.io/v1/callback로 해주면 반드시 밑에 있는 Authorize using browser을 체크!!

Auth URL = https://www.linkedin.com/oauth/v2/authorization
Access Token URL = https://www.linkedin.com/oauth/v2/accessToken
Client ID = {Copy this from the “Auth” tab in the developer portal}
Client Secret = {Copy this from the “Auth” tab in the developer portal}
State = 공백
Client Authentication = Send client credentials in body
Scope = r_ads_reporting,r_organization_social,rw_organization_admin,r_ads,r_basicprofile,r_organization_admin

Scope안에 있는 값은 개발자 포털에서 OAuth 2.0 scopes 참조하여 입력 (아래 리스트 참조)

거의 다 끝났습니다 !!!!!

토큰을 생성하면 browser에서 잠시 확인을 하고 다음과 같은 LinkedIn 팝업이 뜬다.

그리고 LinkedIn 계정을 입력하면 승인을 요청한다는 팝업이 또 뜨고 이를 허용해주면 성공적으로 Auth 는 끝난다.

그리고 단순한 연동 테스트를 하기 위해서 다음 API를 호출해본다.

URI : https://api.linkedin.com/v2/me

나의 정보를 호출하는 API이고 아주 성공적으로 Response를 확인할 수 있다.

다음에는 캠페인정보나 필요한 코드들로 API를 연동하는 테스트 코드를 추가할 예정이다.

[Python] AWS Glue에서 비동기 처리 (concurrent.futures)

밀뿌 — Wed, 7 Feb 2024 19:41:56 +0900

◎ concurrent.furue 모듈

기존에 파이썬에서는 스레드를 구현하려면 threading 모듈을 사용하고 멀티 프로세스 프로그램을 구현하려면 multiprocessing 모듈을 사용해야 했었다. 하지만 3.2 버전부터는 concurrent.futures 모듈이 도입되었다.

concurrent.futures 모듈은 비동기적으로 callable을 실행하는 고수준 인터페이스를 제공하기 때문에
이 모듈을 사용하면 같은 규칙으로 스레드와 멀티 프로세스 코드를 더 쉽게 작성할 수 있다.

Executor
ThreadPoolExecutor
ProcessPoolExecutor
Future

· Executor 클래스

Executor 클래스는 풀 기반으로 작업을 관리하고 비동기적으로 호출을 실행하는 메서드를 제공하는
추상 클래스다.

초기화 시에 몇 개의 worker가 사용될 것 인지를 정해주면 전달되는 작업들을 큐에 넣고 worker pool에서
사용 가능한 worker로 하여금 작업을 처리하게 한다. 직접 사용해서는 안되며, 구체적인 하위 클래스를 통해 사용해야 한다.

Executor의 서브 클래스는 스레드를 사용해서 비동기 호출을 실행할 것인가(ThreadPoolExecutor),
별도의 프로세스를 사용해서 비동기 호출을 실행할 것인가(ProcessPoolExecutor)에 따라 나뉜다.

1) ThreadPoolExecutor

스레드를 사용하여 작업을 비동기적으로 실행
쓰레드는 경량이므로 작업 전환 비용이 낮음
주로 I/O 바운드 작업(예: 데이터베이스 쿼리, 파일 I/O, 네트워크 호출)에 적합
동일한 프로세스 내에서 스레드를 사용하기 때문에 데이터 공유가 쉽고 오버헤드가 적음
대기 시간을 줄이고 리소스 사용을 줄일 수 있음

2) ProcessPoolExecutor

프로세스를 사용하여 작업을 비동기적으로 실행
각 프로세스는 독립적인 메모리 공간을 가지므로 CPU 및 메모리 자원을 더 많이 사용
CPU 바운드 작업(예: 계산 집약적인 작업)에 적합
여러 CPU 코어에서 병렬로 작업을 수행할 수 있음
메모리를 공유하지 않으므로 데이터 공유가 어렵고 통신 비용이 더 듦

[코드 예시]

queries = [Query1, Query2]

start = time.time()

# Query Execution
def execute_query(query_string, database, output_location):
    client = boto3.client('athena', region_name='ap-northeast-2')
    query_start = client.start_query_execution(
        QueryString=query_string,
        QueryExecutionContext={'Database': database},
        ResultConfiguration={'OutputLocation': output_location}
    )
    return query_start
    

with concurrent.futures.ThreadPoolExecutor(max_workers=2) as executor:
# with concurrent.futures.ProcessPoolExecutor(max_workers=2) as executor:
    
    for query in queries:
        executor.submit(execute_query, query, 'db', 's3://temp/')

end = time.time()

AWS Glue에서 수행한 코드 중의 일부인데 DynamoDB에서 2개의 쿼리를 불러와서 ThreadPool, ProcessPool로 각각 비동기로 처리한 코드이다.

데이터의 건수는 약 10만건, 테이블의 컬럼 수는 30개 정도이고

쿼리는 left join, full join이 있는 조금 복잡한 쿼리이다.

[수행 결과]

ThreadPoolExecutor 수행시간 : 132.19272017s

ProcessPoolExecutor 수행시간 : 163.20456743s

단순 테스트 결과는 위와 같이 나왔다.

I/O가 많은 쿼리에는 ThreadPool을 사용해서 Glue Job를 만들어야겠다!!

추가로 Executor 관련 함수와 future 클래스도 곧 내용 정리해서 올릴 예정이다.

[GSC] Google Search Console 리디렉션 오류 해결

밀뿌 — Tue, 16 Jan 2024 18:30:02 +0900

티스토리에 쓴 블로그 글을 GSC(Google Search Console)에 등록하려고 봤더니

다음과 같은 리디렉션 오류가 떠서 페이지 색인이 생성되지 않았다.

이러한 이유는 별도의 모바일 URL이 있는 경우

각 데스크톱 URL의 모바일 사용자를 적절한 모바일 URL로 리디렉션 해줘야하는데

티스토리에서는 모바일 접속 시 자동으로 모바일 웹으로 전환되기 때문이다.

그래서 해결 방법은 티스토리의 모바일 웹 자동 연결을 해제하는 것이다.

방법은 다음과 같다.

먼저 티스토리에 로그인 하여 [블로그 관리 홈] -> [꾸미기] -> [모바일] 으로 가서

모바일웹 설정을 변경해준다.

변경을 하고 다시 GSC로 와서 실시간 테스트를 클릭하면

이전과는 다르게 URL을 Google에 등록할 수 있음 표시로 변경이 되게 된다.

그리고 색인 생성 요청을 클릭해주면 색인 생성이 된 것을 확인 할 수 있다.

나의 경우는 시간이 오래걸리긴 했지만 약 한 달만에 리디렉션 오류가 모두 통과해서 영향 받는 페이지가 0이 되었다!!

[Pandas] 데이터프레임 컬럼 SHA256으로 암호화하기

밀뿌 — Mon, 8 Jan 2024 19:18:52 +0900

● SHA-256이란

SHA는 Secure Hash Algorithm를 의미하고

SHA-256은 메시지, 파일, 혹은 데이터 무결성 검증에 널리 사용되는 암호화 해싱 알고리즘(함수)이다.

변환하기를 원하는 문자들을 256 bit 길이의 key로 변환하며 SHA-256을 사용하면 문자가 조금만 바뀌어도 해시값이 완전히 변한다.

공백 하나 느낌표 하나 등만 들어가도 완전히 다른 값으로 암호화되기 때문에 원본 데이터가 중요하다.

● 사용법

import hashlib
import pandas as pd

df = pd.read_excel('hash.xlsx')
df['8digit'] = df['8digit'].astype('str').str.zfill(10)
df

우선 해시할 데이터를 불러온다.

나는 판다스를 사용해서 데이터프레임에 적용시킬 것이기 때문에 데이터 프레임을 만들어주고

끝에 8자리만 해시 해주기 위해 비어있는 자리수는 0으로 채워주기 위해 zfill 함수를 사용했다.

df["hash256"] = df['8digit'].apply(lambda x: hashlib.sha256(str(x).encode()).hexdigest()).str.upper()
df["hash512"] = df['8digit'].apply(lambda x: hashlib.sha512(str(x).encode()).hexdigest()).str.upper()

그리고 해시할 컬럼을 lambda를 이용해서 sha256 알고리즘을 적용시켜주고 데이터 프레임에 해시한 컬럼을 추가해준다.

추가로 대문자로 사용할 것이라서 upper 함수를 이용해서 대문자화 해주었다.

다음과 같이 SHA-256과 SHA-512로 해시된 것을 확인할 수 있다.

[Pandas] 데이터프레임 컬럼 순서 변경

밀뿌 — Mon, 13 Nov 2023 22:13:53 +0900

[Pandas] 데이터프레임 groupby로 연산된 컬럼 추가 (transform)

요즘에 지하철 데이터를 가지고 토이 프로젝트를 진행해보려고 서울시에서 제공하는 오픈 API를 써서 데이터를 수집하고 있다. daily로 역, 호선 별 지하철 승하차 인구 데이터를 불러왔는데 이

milkyspace.tistory.com

이전 글에서 groupby, transform으로 연산된 컬럼을 추가하였다.

그 컬럼은 데이터프레임의 가장 뒤로 추가가 되었는데 데이터프레임의 가독성을 높이기 위해서

컬럼의 순서를 재배치하는 방법을 설명하려고 한다.

1. 컬럼 순서를 직접 입력

가장 직관적이고 컬럼이 적을 때 사용할 수 있는 방법이다.

df = df[['USE_MON', 'LINE_NUM', 'SUB_STA_NM', 'FOUR_RIDE_NUM', 'FOUR_ALIGHT_NUM' ,'SUM_RIDE', 'SUM_ALIGHT']]
df

하지만 .... 이 데이터프레임의 컬럼 갯수는 54개이다.

하나씩 직접 입력하려면 ....... ㅈㅈ

2. slice 이용하기

그래서 다른 방법은 컬럼을 리스트로 만들어서 순서를 바꿀 컬럼을 A리스트로 만들고 이 컬럼을 제외한 컬럼을 B 리스트로 만든 뒤에 B + A로 순서를 재배치하여 컬럼순서를 변경하는 방법이다.

내가 순서를 변경할 컬럼은 다음과 같은데 파란색으로 표시한 컬럼을 맨 뒤로 보내려고 한다.

먼저 순서를 변경할 컬럼만 리스트로 만들어준다.

a = df.columns[-3:-2].to_list()
print('a : ', a)

a :  ['WORK_DT']

그 다음으로 위에서 생성한 리스트의 컬럼만 제외하고 나머지 컬럼들을 리스트로 만들어준다.

ex_a = df.drop(columns = df.columns[[-3]]).columns[:].to_list()
#  ==   ex_a = df.drop(['WORK_DT'], axis=1).columns[:].to_list()
print('ex_a : ', ex_a)

ex_a :  ['USE_MON', 'LINE_NUM', 'SUB_STA_NM', 'FOUR_RIDE_NUM', 'FOUR_ALIGHT_NUM',  ... 'THREE_RIDE_NUM', 'THREE_ALIGHT_NUM', 'SUM_RIDE', 'SUM_ALIGHT']

마지막으로 a 리스트를 ex_a 리스트 뒤에 붙여주어 컬럼의 순서를 변경한다.

reorder = ex_a + a
print('reorder : ', reorder)

reorder :  ['USE_MON', 'LINE_NUM', 'SUB_STA_NM', 'FOUR_RIDE_NUM', 'FOUR_ALIGHT_NUM', ... 'THREE_RIDE_NUM', 'THREE_ALIGHT_NUM', 'SUM_RIDE', 'SUM_ALIGHT', 'WORK_DT']

컬럼 리스트를 확인하면 a리스트(WORK_DT)가 가장 뒤로 위치해있는 것을 확인 할 수 있다.

이 컬럼 리스트들로 데이터프레임을 만들어준다.

a = df.columns[-3:-2].to_list()

ex_a = df.drop(columns = df.columns[[-3]]).columns[:].to_list()
#  ==   ex_a = df.drop(['WORK_DT'], axis=1).columns[:].to_list()

reorder = ex_a + a

df = df[reorder]
df