데이터 사이언스로 한걸음

지도 시각화 - folium, 마커 표시들어가며파이썬으로 지도를 시각화하는 여러 방법 중 folium 패키지를 활용하여 시각화하는 방법을 소개합니다. folium은 leaflet.js를 기반으로 하여 웹 지도를 만들 수 있는 라이브러리입니다. 인터랙티브 지도를 웹브라우저에서 렌더링 할 수 있으며, 간단한 사용법으로 다양한 마커, 경로 등을 추가할 수 있습니다. 이 글에서는 folium을 활용하여 지도 위에 마커를 표시하여 시각화하는 방법을 소개합니다.1개 마커 표시여러 개 마커 표시마커 아이콘 설정1개 마커 표시먼저 필요한 패키지인 folium을 import합니다.# pip install foliumimport folium생성할 지도의 중심 좌표를 설정합니다. 이 지점은 웹에서 지도를 열었을 때 중심이 ..

.env 파일 활용 - API KEY 관리 및 개인 정보 보호들어가며API KEY 혹은 DB 연결 정보 등의 개인 정보를 소스 코드에 포함시키지 않고 보안성을 높이는 방법을 소개합니다.'.env' 파일은 app의 환경 설정을 저장하는 데 사용되는 텍스트 파일로 주로 환경 변수를 정의하는 데 사용됩니다. '.env' 파일을 활용하면 소스 코드와 민감한 정보를 분리하여 안전하게 관리할 수 있습니다. 즉, 소스 코드와 설정 값을 분리하여 코드를 변경하지 않고도 설정 값을 쉽게 수정할 수 있습니다. 또한 개발, 테스트, 운영 등 각각의 다른 환경에 맞는 설정 값을 별도로 관리할 수 있습니다. 이 글에서는 '.env'로 API KEY를 안전하게 활용하는 방법에 대해 설명합니다..env 파일.env 파일 활용주의사..

소수점 반올림, 올림, 내림 - numpy, math들어가며이 글에서는 파이썬 패키지인 numpy와 math를 활용하여 소수점 반올림, 올림, 내림에 대해 소개합니다. 데이터의 형태에 따라 2가지 패키지 중 하나를 선택하여 사용하면 됩니다.먼저 필요한 패키지인 pandas, numpy, math를 import하고, 임의의 숫자들로 데이터프레임을 생성합니다.import pandas as pdimport numpy as npimport mathdf = pd.DataFrame({'COL':[0.3542, 1.3585, 7.9671, 4.3317, 0.5143]})df소수점 반올림소수점 올림소수점 내림소수점 반올림 반올림은 round를 사용합니다. 소수점 자릿수에 따라 숫자만 변경합니다. round를 활용한 2..

OpenWeather API 활용 방법 - 실시간 날씨 데이터 수집들어가며OpenWeather는 다양한 날씨 데이터를 제공하는 플랫폼입니다. 실시간 날씨 정보, 예보 등의 데이터를 수집하고 활용할 수 있습니다. 다양한 요금제가 있지만, 현재 날씨 데이터, 5일 동안의 날씨 예보, 과거 날씨 데이터 등 무료로 사용할 수 있는 데이터가 충분히 있습니다. 이 글에서는 현재 날씨 데이터를 파이썬으로 수집하는 방법을 소개합니다.OpenWeather 회원가입무료/유료 요금제 구독실시간 날씨 데이터 수집OpenWeather 회원가입먼저 회원가입을 진행합니다. Username, 이메일, 비밀번호만 입력하면 회원가입은 완료입니다. 회원가입 진행 후, 입력한 이메일에 수신된 '이메일 인증'을 꼭 진행해야 합니다.무료/유료..

특정 경로에 폴더, directory 생성 - os, mkdir들어가며파이썬에서 특정 경로에 폴더를 생성하는 방법을 소개합니다. os의 mkdir을 활용하면 편리하게 원하는 경로에 폴더를 생성할 수 있습니다. mkdir은 make directory의 약자입니다.특정 경로에 폴더 생성먼저 필요한 패키지인 os를 설치하고 import 합니다.# pip install osimport os예를 들어, 바탕화면에 imsi 폴더를 생성해 보도록 하겠습니다. 바탕화면 경로를 desktop_path에 저장합니다.desktop_path = 'C:/Users/USER/Desktop/'os.mkdir을 활용하여 imsi 폴더를 생성합니다.os.mkdir(desktop_path + 'imsi')for문을 활용하여 여러 개의 ..

데이터 집계, 피벗 테이블 생성 - pivot_table들어가며데이터분석을 하기 위해 피벗 테이블을 생성해야 할 때는 pivot_table을 활용합니다. 방대한 양의 데이터를 한눈에 보기 쉽게 집계표를 나타낼 수 있습니다.피벗 테이블먼저 필요한 패키지인 pandas를 import합니다.# pip install pandasimport pandas as pd예제 데이터로 2024년 3월 14일의 시간대별 ID별 속도 데이터를 사용하겠습니다. 아래의 csv파일을 다운로드하여 사용해 보세요:)df = pd.read_csv('test_df.csv', encoding='euc-kr')df.head()아래 그림과 같이 행에 ID를 열에 시간대를 놓고, 그에 맞는 속도를 나타내보겠습니다.df_pivot = df.piv..

범주형 변수 처리, 더미변수 - get_dummies, OneHotEncoder더미변수란?sampleget_dummiesOneHotEncoder더미변수란?범주형 변수를 수치형 변수로 만들기 위해 임의로 생성하는 변수를 의미합니다. 모델을 학습시킬 때 데이터에서 범주형 변수가 존재한다면, 모델에 직접 적용할 수 없기 때문에 해당 속성에 따라 (0:아니요, 1:예)로 구분하여 변수를 새로 생성합니다. 파이썬을 활용할 때 주로 사용하는 방법인 get_dummies와 onehotencoder가 있습니다.sample 예를 들어, 각 id별로 선택한 과목을 나타낸 데이터프레임이 있다고 가정하겠습니다. Subject 변수를 get_dummies와 onehotencoder를 통해 더미변수를 생성하겠습니다.df = pd..

파이썬 패키지 설치 자동화 스크립트 - subprocess, importlib들어가며새로운 장비를 환경 설정하거나 가상 환경을 구축할 때, 필요한 파이썬 패키지를 일일이 설치해야 합니다. 특히, 여러 개의 패키지를 설치할 경우 오랜 시간이 걸리거나 누락되는 경우가 발생합니다.이 글에서는 단순히 패키지를 설치하는 방법과 설치 여부를 판단 후 패키지를 설치하는 방법으로 분리하여 설명합니다. 패키지 설치 자동화를 통해 간편하고 편리하게 환경을 구성하고, 반복적인 패키지 설치 작업을 줄일 수 있습니다.패키지 설치 - 베이스 코드패키지 설치 스크립트패키지 설치 여부 확인 - 베이스 코드패키지 설치 스크립트 w/설치 여부 확인패키지 설치 - 베이스 코드패키지 설치 자동화를 위한 베이스 코드는 다음과 같습니다. 패키..

피벗 테이블 멀티 인덱스 해제들어가며파이썬에서 pivot_table을 활용하여 피벗 테이블을 생성할 때, 멀티 인덱스를 제거하는 방법을 소개합니다. 컬럼을 수동으로 입력하는 방법도 있지만, 편리하고 깔끔하게 데이터프레임을 정리할 수 있습니다. 피벗 테이블 멀티 인덱스 해제먼저 필요한 패키지인 pandas를 설치하고 import합니다.# pip install pandasimport pandas as pd예제 데이터로 날짜별 지역별 강수량, 적설량 데이터를 사용하겠습니다.df = pd.read_csv('weather_sample.csv', encoding='euc-kr')df.head()인덱스를 날짜로 설정하고, 지역별 강수량, 적설량이 나오도록 피벗 테이블을 생성하겠습니다.df1 = df.pivot_tab..

Unix UTC  시간 변환 - datetime, utcfromtimestamp들어가며해외에서 오픈 API를 활용하여 데이터를 다운로드하면 시간 데이터 값이 10자리 숫자로 표현되어 있는 것을 확인할 수 있습니다. 아래 이미지는 OpenWeather에서 날씨 데이터를 API로 수집한 결과인데, sunrise와 sunset 컬럼의 시간이 10자리 숫자로 표현되어 있습니다. 이 시간은 Unix UTC 시간으로 Unix 시스템에서 시간을 표현하는 방식 중 하나입니다. 1970년 1월 1일 00:00:00 UTC(협정 세계시)부터의 경과 시간을 초 단위로 나타낸 값입니다. 이 시간을 Unix 타임스탬프라고 부릅니다. 이 글에서는 Unix 시간을 일반적인 시간으로 변환하는 방법을 파이썬을 활용하여 설명합니다.Un..