Milky's note

Airflow Dag들이 실패하면 메일로 alert를 받아볼 수 있게 Email Operator를 설정해주려고 한다!  먼저 mail을 보낼 gmail 계정이 있어야 하기 때문에없다면 먼저 google에 가입을 해준다.  1. Gmail의 IMAP 활성화이제 구글에 로그인을 해서 IMAP를 켜줘야한다! [Gmail] -> [설정] -> 모든 설정 보기 클릭! [전달 및 POP/IMAP] -> [IMAP 액세스]에서 IMAP 사용을 체크 !!  2. SMTP 비밀번호 설정이제 airflow config 파일에 넣어줄 smtp 비밀번호를 설정해준다.smtp 비밀번호를 생성하기 위해선 먼저 2단계 인증이 설정되어야 한다. 그리고 앱 비밀번호를 만들어준다.앱 비밀번호가 잘 안보였었는데 위에 검색창에서 검색했다...

GCP 프로젝트에서 고정 IP를 생성하여 인스턴스에 할당을 해주었다.그래서 외부 IP로 Airflow UI에 접속하여 ETL 운영 작업을 했었는데갑자기 보안 정책으로 인하여,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,고정 IP를 제거하라는 요청이 들어왔다. SSH 터널링을 이용해서 외부 IP 없이 내부 IP로 Airflow UI에 접속할 수 있다. 로컬 머신에서 GCP의 VM 인스턴스에 SSH로 연결한 후, Airflow UI에 접근할 수 있도록 포트를 포워딩 0. 사전 작업 (gcloud 설치)gcloud sdk를 이용하여 로컬 기기에 ssh 연결을 해주어야 하기 때문에 gcloud cli를 입력할 수 있는 gcloud를  설치해야한다. 다음 링크를 들어가서 설치를 해준다.https://clo..

전 글에서 잠깐 설명한 Airflow default DB를 sqlite에서 MySQL로 바꾸는 작업과GCP 인스턴스에 설치한 Airflow를 서비스(데몬)으로 띄우는 작업에 대해서 글을 쓰려고 한다. 만약 아직 Airflow를 설치하지 않았다면 이전 글을 참고해서 Airflow부터 설치해야 한다. https://milkyspace.tistory.com/127 [Airflow] 설치 (by.GCP 환경)GCP에 Airflow를 설치하려면 당연히 인스턴스가 있어야 한다.혹시나 인스턴스 생성이 안되어 있다면 이전 게시글을 참조하면 된다. https://milkyspace.tistory.com/125 [GCP] VM Instance 생성 및 고정 IP 할당GCPmilkyspace.tistory.com 3. My..

GCP에 Airflow를 설치하려면 당연히 인스턴스가 있어야 한다.혹시나 인스턴스 생성이 안되어 있다면 이전 게시글을 참조하면 된다. https://milkyspace.tistory.com/125 [GCP] VM Instance 생성 및 고정 IP 할당GCP에 VM Instance를 생성하는 법은 간단한 클릭 몇 번만으로 할 수 있다. 먼저 GCP에 로그인 한 후,[Compute Engine] → [VM 인스턴스] → [인스턴스 만들기] 를 클릭한다. 1. 머신 구성그리고 서버 용도에milkyspace.tistory.com 1. 사전 작업GCP에 Airflow를 설치하기 전에 먼저 해주어야 할 작업이 있다.계정 생성과 Python을 설치해 주어야 한다.Service를 사용하지 않으면 계정은 굳이 만들지 ..