Milky's note

GCP에 VM Instance를 생성하는 법은 간단한 클릭 몇 번만으로 할 수 있다. 먼저 GCP에 로그인 한 후,[Compute Engine] → [VM 인스턴스] → [인스턴스 만들기] 를 클릭한다. 1. 머신 구성그리고 서버 용도에 맞는 머신의 스펙을 설정한다.나는 데이터를 daily로 ETL하기 위한 Airflow가 운영될 환경이라서 다음과 같은 스펙을 선택했다.리전 별, 머신 시리즈별로 CPU의 최대 코어수가 정해져있다.([IAM 및 관리자]→ [할당량 및 시스템 한도]로 가면 확인이 가능하다.)증액 요청을 하면 되긴 하는데 시간이 오래 걸릴 것 같아서 우선 해보고 나중에 부족하면 늘리기로 하였다.  그리고 부팅 디스크는 100GB로 늘려주었다.default가 10G였던 것 같은데 이게 나중에 ..

GCP에서 스케줄 작업을 할 때 가장 많이 사용하는 방법이VM Instance에 Airflow를 설치해서 사용하는 방법이다. 소스의 편한 형상관리와 Airflow DAG 코드를 쉽게 반영하기 위해서 GCP의 Repositories를 사용한다. 그래서 이번에는 GCP의 Repositories를 사용해서 DAG 코드를 Airflow 서버에 반영하는 방법에 대해서 간단하게 설명하려고 한다. 여기서 구성할 DAG는 Open API인 환율 구하는 API를 사용해서 전처리하여 daily로 해당일의 환율을 빅쿼리에 적재하려고 한다.더보기[DAG 코드는 다음과 같이 작성한 상태]환율 API 호출(extract) → 판다스를 통한 전처리(transform)  → 빅쿼리 적재(load) 환율 APIAPI 호출을 위한 인증..

이번에 회사에서 GCP 접속시에 안쓰는 계정과 ip를 확인해서 지우기로 결정하였다. 그래서 리스트를 쫙 뽑았는데 재택근무를 많이 하고 있음에도 우리집 ip는 없다고 나와서 확인해보니 ssh로 서버에 접속을 하지 않았다. gcp 콘솔으로 들어가서 바로 서버에 접속 했었던 것 같다. 그래서 본격 로컬에서 GCP로 접속하는 방법을 정리하려고 한다. 나의 OS는 Mac이고 그에 맞는 방법을 정리하려고 한다. 1. 로컬에서 터미널 접속 후 ssh-keygen을 사용하여 key를 생성 먼저 keygen을 이용해서 ssh를 사용할 키를 하나 생성한다. ssh-keygen -t rsa -f [KEY 이름] -C [GCP 접속계정] ssh-keygen -t rsa -f ~/.ssh/gcp_key -C [GCP 접속계정]..