Milky's note

◎ concurrent.furue 모듈 기존에 파이썬에서는 스레드를 구현하려면 threading 모듈을 사용하고 멀티 프로세스 프로그램을 구현하려면 multiprocessing 모듈을 사용해야 했었다. 하지만 3.2 버전부터는 concurrent.futures 모듈이 도입되었다. concurrent.futures 모듈은 비동기적으로 callable을 실행하는 고수준 인터페이스를 제공하기 때문에 이 모듈을 사용하면 같은 규칙으로 스레드와 멀티 프로세스 코드를 더 쉽게 작성할 수 있다. Executor ThreadPoolExecutor ProcessPoolExecutor Future · Executor 클래스 Executor 클래스는 풀 기반으로 작업을 관리하고 비동기적으로 호출을 실행하는 메서드를 제공하는..

● SHA-256이란 SHA는 Secure Hash Algorithm를 의미하고 SHA-256은 메시지, 파일, 혹은 데이터 무결성 검증에 널리 사용되는 암호화 해싱 알고리즘(함수)이다. 변환하기를 원하는 문자들을 256 bit 길이의 key로 변환하며 SHA-256을 사용하면 문자가 조금만 바뀌어도 해시값이 완전히 변한다. 공백 하나 느낌표 하나 등만 들어가도 완전히 다른 값으로 암호화되기 때문에 원본 데이터가 중요하다. ● 사용법 import hashlib import pandas as pd df = pd.read_excel('hash.xlsx') df['8digit'] = df['8digit'].astype('str').str.zfill(10) df 우선 해시할 데이터를 불러온다. 나는 판다스를 사..

[Pandas] 데이터프레임 groupby로 연산된 컬럼 추가 (transform) 요즘에 지하철 데이터를 가지고 토이 프로젝트를 진행해보려고 서울시에서 제공하는 오픈 API를 써서 데이터를 수집하고 있다. daily로 역, 호선 별 지하철 승하차 인구 데이터를 불러왔는데 이 milkyspace.tistory.com 이전 글에서 groupby, transform으로 연산된 컬럼을 추가하였다. 그 컬럼은 데이터프레임의 가장 뒤로 추가가 되었는데 데이터프레임의 가독성을 높이기 위해서 컬럼의 순서를 재배치하는 방법을 설명하려고 한다. 1. 컬럼 순서를 직접 입력 가장 직관적이고 컬럼이 적을 때 사용할 수 있는 방법이다. df = df[['USE_MON', 'LINE_NUM', 'SUB_STA_NM', 'FOU..

요즘에 지하철 데이터를 가지고 토이 프로젝트를 진행해보려고 서울시에서 제공하는 오픈 API를 써서 데이터를 수집하고 있다. daily로 역, 호선 별 지하철 승하차 인구 데이터를 불러왔는데 이 데이터를 일간 말고 월간으로 인구를 sum을 해서 dataframe에 컬럼을 추가해주고 싶었다. 그럴 때 groupby와 transform 함수를 사용해주면 아주아주 편리하게 추가할 수 있다. 먼저 API를 통해서 데이터를 호출하고 아주 약간의 클렌징을 한 데이터이다. 데이터를 보면 USE_DT라는 컬럼이 daily로 수집되고 있다. 이 데이터를 groupby를 해서 month 기준으로 sum한 컬럼을 추가하려고 한다. 먼저 그냥 groupby를 해서 sum을 구해보면 아래와 같은 형태로 나온다. 날짜(연도월), ..