일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 |
- solvesql
- having
- TRUNCATE
- not in
- 다중 JOIN
- hackerrank
- seaborn
- 파이썬
- 전처리
- 머신러닝
- 결측값
- 프로그래머스
- GROUPBY
- SQLite
- Round
- 데이터리안 웨비나
- PostgreSQL
- SUM
- pandas
- MySQL
- Limit
- 그로스해킹
- Oracle
- 데이터분석
- 데이터시각화
- SQL
- airflow.cfg
- airflow 설치
- matplotlib
- join
- Today
- Total
목록Python (25)
Milky's note
LinkedIn의 Ads 쪽 데이터를 API로 호출해서 적재하는 파이프라인을 만들려고 한다.API 호출을 단순 Auth로 하면 될 줄 알았는데 생각보다 복잡한 절차가 있어서 정리하려고 한다. 1. LinkedIn Developers에서 App 생성LinkedIn API를 연동하기 위해서는 LinkedIn Developers(https://developer.linkedin.com/)에서 app을 생성 해야한다. 앱의 이름과 LinkedIn Page, 그리고 로고 이미지를 넣고 앱을 생성하면 된다.앱은 바로 생성이 되고 내가 필요한 Advertising API를 Request해야하는데 블락이 되어 있다. 앱을 생성하면서 넣어주었던 회사의 LinkedIn 계정 담당자가 승인을 해주어야 API를 요청할 수 있다..
◎ concurrent.furue 모듈기존에 파이썬에서는 스레드를 구현하려면 threading 모듈을 사용하고 멀티 프로세스 프로그램을 구현하려면 multiprocessing 모듈을 사용해야 했었다. 하지만 3.2 버전부터는 concurrent.futures 모듈이 도입되었다.concurrent.futures 모듈은 비동기적으로 callable을 실행하는 고수준 인터페이스를 제공하기 때문에 이 모듈을 사용하면 같은 규칙으로 스레드와 멀티 프로세스 코드를 더 쉽게 작성할 수 있다.ExecutorThreadPoolExecutor ProcessPoolExecutorFuture · Executor 클래스Executor 클래스는 풀 기반으로 작업을 관리하고 비동기적으로 호출을 실행하는 메서드를 제공하는 추상 클래..
● SHA-256이란SHA는 Secure Hash Algorithm를 의미하고 SHA-256은 메시지, 파일, 혹은 데이터 무결성 검증에 널리 사용되는 암호화 해싱 알고리즘(함수)이다.변환하기를 원하는 문자들을 256 bit 길이의 key로 변환하며 SHA-256을 사용하면 문자가 조금만 바뀌어도 해시값이 완전히 변한다. 공백 하나 느낌표 하나 등만 들어가도 완전히 다른 값으로 암호화되기 때문에 원본 데이터가 중요하다. ● 사용법import hashlibimport pandas as pddf = pd.read_excel('hash.xlsx')df['8digit'] = df['8digit'].astype('str').str.zfill(10)df 우선 해시할 데이터를 불러온다.나는 판다스를 사용해서 데이터프..
[Pandas] 데이터프레임 groupby로 연산된 컬럼 추가 (transform)요즘에 지하철 데이터를 가지고 토이 프로젝트를 진행해보려고 서울시에서 제공하는 오픈 API를 써서 데이터를 수집하고 있다. daily로 역, 호선 별 지하철 승하차 인구 데이터를 불러왔는데 이milkyspace.tistory.com 이전 글에서 groupby, transform으로 연산된 컬럼을 추가하였다.그 컬럼은 데이터프레임의 가장 뒤로 추가가 되었는데 데이터프레임의 가독성을 높이기 위해서컬럼의 순서를 재배치하는 방법을 설명하려고 한다. 1. 컬럼 순서를 직접 입력가장 직관적이고 컬럼이 적을 때 사용할 수 있는 방법이다.df = df[['USE_MON', 'LINE_NUM', 'SUB_STA_NM', 'FOUR_RID..