데이터 사이언스로 한걸음

OpenWeather API 활용 방법 - 실시간 날씨 데이터 수집들어가며OpenWeather는 다양한 날씨 데이터를 제공하는 플랫폼입니다. 실시간 날씨 정보, 예보 등의 데이터를 수집하고 활용할 수 있습니다. 다양한 요금제가 있지만, 현재 날씨 데이터, 5일 동안의 날씨 예보, 과거 날씨 데이터 등 무료로 사용할 수 있는 데이터가 충분히 있습니다. 이 글에서는 현재 날씨 데이터를 파이썬으로 수집하는 방법을 소개합니다.OpenWeather 회원가입무료/유료 요금제 구독실시간 날씨 데이터 수집OpenWeather 회원가입먼저 회원가입을 진행합니다. Username, 이메일, 비밀번호만 입력하면 회원가입은 완료입니다. 회원가입 진행 후, 입력한 이메일에 수신된 '이메일 인증'을 꼭 진행해야 합니다.무료/유료..

특정 경로에 폴더, directory 생성 - os, mkdir들어가며파이썬에서 특정 경로에 폴더를 생성하는 방법을 소개합니다. os의 mkdir을 활용하면 편리하게 원하는 경로에 폴더를 생성할 수 있습니다. mkdir은 make directory의 약자입니다.특정 경로에 폴더 생성먼저 필요한 패키지인 os를 설치하고 import 합니다.# pip install osimport os예를 들어, 바탕화면에 imsi 폴더를 생성해 보도록 하겠습니다. 바탕화면 경로를 desktop_path에 저장합니다.desktop_path = 'C:/Users/USER/Desktop/'os.mkdir을 활용하여 imsi 폴더를 생성합니다.os.mkdir(desktop_path + 'imsi')for문을 활용하여 여러 개의 ..

데이터 집계, 피벗 테이블 생성 - pivot_table들어가며데이터분석을 하기 위해 피벗 테이블을 생성해야 할 때는 pivot_table을 활용합니다. 방대한 양의 데이터를 한눈에 보기 쉽게 집계표를 나타낼 수 있습니다.피벗 테이블먼저 필요한 패키지인 pandas를 import합니다.# pip install pandasimport pandas as pd예제 데이터로 2024년 3월 14일의 시간대별 ID별 속도 데이터를 사용하겠습니다. 아래의 csv파일을 다운로드하여 사용해 보세요:)df = pd.read_csv('test_df.csv', encoding='euc-kr')df.head()아래 그림과 같이 행에 ID를 열에 시간대를 놓고, 그에 맞는 속도를 나타내보겠습니다.df_pivot = df.piv..

범주형 변수 처리, 더미변수 - get_dummies, OneHotEncoder더미변수란?sampleget_dummiesOneHotEncoder더미변수란?범주형 변수를 수치형 변수로 만들기 위해 임의로 생성하는 변수를 의미합니다. 모델을 학습시킬 때 데이터에서 범주형 변수가 존재한다면, 모델에 직접 적용할 수 없기 때문에 해당 속성에 따라 (0:아니요, 1:예)로 구분하여 변수를 새로 생성합니다. 파이썬을 활용할 때 주로 사용하는 방법인 get_dummies와 onehotencoder가 있습니다.sample 예를 들어, 각 id별로 선택한 과목을 나타낸 데이터프레임이 있다고 가정하겠습니다. Subject 변수를 get_dummies와 onehotencoder를 통해 더미변수를 생성하겠습니다.df = pd..

파이썬 패키지 설치 자동화 스크립트 - subprocess, importlib들어가며새로운 장비를 환경 설정하거나 가상 환경을 구축할 때, 필요한 파이썬 패키지를 일일이 설치해야 합니다. 특히, 여러 개의 패키지를 설치할 경우 오랜 시간이 걸리거나 누락되는 경우가 발생합니다.이 글에서는 단순히 패키지를 설치하는 방법과 설치 여부를 판단 후 패키지를 설치하는 방법으로 분리하여 설명합니다. 패키지 설치 자동화를 통해 간편하고 편리하게 환경을 구성하고, 반복적인 패키지 설치 작업을 줄일 수 있습니다.패키지 설치 - 베이스 코드패키지 설치 스크립트패키지 설치 여부 확인 - 베이스 코드패키지 설치 스크립트 w/설치 여부 확인패키지 설치 - 베이스 코드패키지 설치 자동화를 위한 베이스 코드는 다음과 같습니다. 패키..

피벗 테이블 멀티 인덱스 해제들어가며파이썬에서 pivot_table을 활용하여 피벗 테이블을 생성할 때, 멀티 인덱스를 제거하는 방법을 소개합니다. 컬럼을 수동으로 입력하는 방법도 있지만, 편리하고 깔끔하게 데이터프레임을 정리할 수 있습니다. 피벗 테이블 멀티 인덱스 해제먼저 필요한 패키지인 pandas를 설치하고 import합니다.# pip install pandasimport pandas as pd예제 데이터로 날짜별 지역별 강수량, 적설량 데이터를 사용하겠습니다.df = pd.read_csv('weather_sample.csv', encoding='euc-kr')df.head()인덱스를 날짜로 설정하고, 지역별 강수량, 적설량이 나오도록 피벗 테이블을 생성하겠습니다.df1 = df.pivot_tab..

Unix UTC  시간 변환 - datetime, utcfromtimestamp들어가며해외에서 오픈 API를 활용하여 데이터를 다운로드하면 시간 데이터 값이 10자리 숫자로 표현되어 있는 것을 확인할 수 있습니다. 아래 이미지는 OpenWeather에서 날씨 데이터를 API로 수집한 결과인데, sunrise와 sunset 컬럼의 시간이 10자리 숫자로 표현되어 있습니다. 이 시간은 Unix UTC 시간으로 Unix 시스템에서 시간을 표현하는 방식 중 하나입니다. 1970년 1월 1일 00:00:00 UTC(협정 세계시)부터의 경과 시간을 초 단위로 나타낸 값입니다. 이 시간을 Unix 타임스탬프라고 부릅니다. 이 글에서는 Unix 시간을 일반적인 시간으로 변환하는 방법을 파이썬을 활용하여 설명합니다.Un..

파일 이동, 폴더 변경 - shutil들어가며파일을 이동할 때 사용하는 윈도우 cmd의 mv 명령어를 파이썬에서도 사용할 수 있습니다. 파이썬의 shutil을 활용하면, 여러 개의 파일을 빠르게 이동할 수 있습니다. 1개의 파일 이동뿐만 아니라 여러 개의 파일 이동도 가능합니다.1) 1개의 파일 이동먼저 필요한 패키지인 shutil을 import 합니다. shutil은 파이썬 내장 메모리에 포함되어 있으므로 따로 설치가 필요하지 않습니다.import shutil바탕화면에 위치한 test_sample.txt를 바탕화면의 imsi 폴더로 이동해 보겠습니다. 다음과 같이 shutil.move를 통해 이동 전 경로와 이동 후 경로를 넣어주기만 하면 됩니다.shutil.move('C:/Users/USER/Desk..

datetime 타입 변환/ 날짜 요소 추출(dt)/ 현재 날짜, 시간 표현들어가며데이터 분석을 하기 전, 조심해야 하는 부분 중 하나는 날짜, 시간 데이터에 관한 처리입니다. 이 글에서는 to_datetime을 통한 데이터 타입 변경과 dt 함수를 통한 날짜 요소추출 그리고 현재 날짜, 시간을 표현하는 방법에 대해 설명하겠습니다. 예제로 사용하는 데이터는 캐글의 지진 데이터셋입니다. 먼저 데이터 다운로드 후 read_csv로 데이터를 불러옵니다.df = pd.read_csv('earthquake_1995-2023.csv')print(len(df))df.head()datetime 타입 변환dt 연산자 활용 날짜 요소 추출현재 날짜, 시간 표현datetime 타입 변환 날짜 데이터를 다루기 위해서 판다스의..

내장함수 str - len, split, replace[파이썬] 내장함수 str - 슬라이싱, find, contains, strip에 이어서 작성합니다.str.len()str.split()str.replace()str.len()str.len은 문자열의 길이를 반환합니다. 가장 긴/짧은 문자열을 확인할 때 유용합니다.title 변수의 길이를 확인하는 title_len 변수 생성을 한다면 다음과 같습니다.netflix['title_len'] = netflix['title'].str.len()netflix[['title','title_len']].head()title 변수에서 길이가 가장 긴 제목을 찾는다면, 결과는 다음과 같습니다. 넷플릭스 데이터에서 가장 긴 제목은 Chris Smith 감독의 'Jim ..