데이터 사이언스로 한걸음

[파이썬] 데이터프레임 행 반복 처리 - iterrows, itertuples

데이터프레임 행 반복 처리 - iterrows, itertuples들어가며파이썬에서 데이터프레임의 행을 반복해서 처리하는 작업이 필요할 때 사용하는 iterrows와 itertuples에 대해 소개합니다. 이 글에서 활용할 데이터는 seaborn의 iris 데이터입니다.import seaborn as snsdf = sns.load_dataset('iris')df.head()iterrowsitertuplesiterrowsiterrows는 Pandas DataFrame에서 각 행을 반복할 수 있게 해주는 메서드입니다. 이 메서드는 DataFrame의 행을 순차적으로 처리할 때 유용하며, 각 행에 대해 행의 인덱스와 데이터를 반환합니다. for index, row in df.iterrows(): prin..

[파이썬] 토이 프로젝트 - 테니스 코트 정보 확인(날씨 예보, 주차 등)

토이 프로젝트 - 테니스 코트 정보 확인(날씨 예보, 주차 등)들어가며파이썬을 활용해서 재밌는 프로젝트를 찾던 와중에 좋은 생각이 났다. 테니스 동호회 활동을 하고 있는데, 비가 오는 날씨면 코트 주변에 살고 있는 사람들에게 시간 단위로 비가 오는지 안 오는지 묻는 과정에서 코트에 대한 날씨 정보 사이트를 만들어보기로 했다. 현재까지 사이트에 추가하려고 생각한 내용은 코트에 대한 시간별 날씨 예보, 주차 정보, 예약 사이트, 위치(지도)이다. 자세한 내용은 하나씩 추가를 하며 좀 더 고민해봐야 할 것 같다.사용한 툴은 파이썬과 streamlit이다. 올해 초에 대시보드 툴로 알게 된 streamlit을 활용하여 작성했다. 나중에 사이트가 좀 더 완성도를 갖추게 되면 깃허브로 공개할 예정이다.테니스 코트 ..

Slack API를 활용한 슬랙 메시지 전송들어가며파이썬을 활용한 자동화 프로그램을 실행할 때, 슬랙 API를 통해 실시간으로 진행 상황을 확인할 수 있습니다. 예를 들어, 비트코인 자동 매매 프로그램에서 매수/매도에 대한 메시지를 전송하여 현황을 파악할 수 있습니다.이 글에서는 슬랙 API를 활용하여 슬랙 메시지를 전송하는 방법을 소개합니다.앱 생성 w/ 슬랙 API파이썬을 활용한 슬랙 메시지 전송앱 생성 w/ 슬랙 API slack api 페이지에서 Your apps를 클릭합니다.앱 생성을 위한 Create New App을 클릭합니다.From scratch를 선택합니다. From scratch는 처음 앱을 만들고 설정할 때, 더 직관적이고, GUI로 설정을 추가할 수 있습니다.앱 이름(App Name..

파이썬을 활용한 좌표 변환 - pyproj들어가며파이썬의 pyproj는 지리 데이터를 처리하는 데 매우 유용합니다. 이 글에서는 pyproj를 활용하여 좌표를 변환하는 방법을 소개합니다.예제로 사용할 데이터는 각각의 ID에 대한 좌표에 대한 정보이고, 좌표계는 GRS80입니다. 예제 데이터의 GRS80 좌표를 WGS84 좌표로 변환하겠습니다. 데이터의 구조는 다음과 같습니다. GRS80: 1980년에 정의된 지구 타원체(ellipsoid)를 기반으로 하는 좌표계로 주로 우리나라의 지리 데이터에서 사용WGS84: 전세계적으로 가장 널리 사용되는 좌표계로 1984년에 정의된 세계 지구 좌표계import pandas as pddf = pd.read_csv('coordinates.csv')df1개의 좌표 변환좌..

지진 데이터 지도 시각화 - 히트맵, 클러스터링, folium들어가며파이썬으로 지도를 시각화하는 여러 방법 중 folium 패키지를 활용하여 시각화하는 방법을 소개합니다. folium은 leaflet.js를 기반으로 하여 웹 지도를 만들 수 있는 라이브러리입니다. 인터랙티브 지도를 웹브라우저에서 렌더링 할 수 있으며, 간단한 사용법으로 다양한 마커, 경로 등을 추가할 수 있습니다. 이 글에서는 folium을 활용하여 지진 데이터를 히트맵으로 시각화하는 방법을 소개합니다.지진 데이터지진 데이터를 활용한 히트맵 시각화지진 데이터를 활용한 클러스터링 시각화지진 데이터이 글에서 활용할 데이터는 미국 지질조사국(USGS)에서 제공하는 지진 데이터입니다. USGS는 전 세계 지진 데이터를 제공하는 가장 중요한 기관..

matplotlib을 활용한 지식 그래프 Knowledge Graph 시각화들어가며지식 노드 그래프 Knowledge Node Graph, 일반적으로 지식 그래프 Knowledge Graph는 현실의 다양한 사물들과 그 관계를 노드(Node)와 엣지(Edge)로 표현한 구조화된 데이터 모델입니다. 즉, 사물들 간의 관계를 시각적으로 표현한 그래프입니다.지식 그래프 | "무엇이 무엇과 어떤 관계를 맺고 있는지"를 컴퓨터가 이해할 수 있도록 시각적으로 표현한 지식의 연결망이 글에서는 지식 그래프에 대한 개념과 구성요소 그리고 파이썬을 활용하여 지식 그래프를 시각화하는 방법을 소개합니다. 시각화는 방향의 유무, 속성의 유무로 분류하여 소개합니다.지식 그래프의 구성 요소지식 그래프의 구성 요소는 다음과 같이 3..

지도 시각화 - folium, 마커 표시들어가며파이썬으로 지도를 시각화하는 여러 방법 중 folium 패키지를 활용하여 시각화하는 방법을 소개합니다. folium은 leaflet.js를 기반으로 하여 웹 지도를 만들 수 있는 라이브러리입니다. 인터랙티브 지도를 웹브라우저에서 렌더링 할 수 있으며, 간단한 사용법으로 다양한 마커, 경로 등을 추가할 수 있습니다. 이 글에서는 folium을 활용하여 지도 위에 마커를 표시하여 시각화하는 방법을 소개합니다.1개 마커 표시여러 개 마커 표시마커 아이콘 설정1개 마커 표시먼저 필요한 패키지인 folium을 import합니다.# pip install foliumimport folium생성할 지도의 중심 좌표를 설정합니다. 이 지점은 웹에서 지도를 열었을 때 중심이 ..

.env 파일 활용 - API KEY 관리 및 개인 정보 보호들어가며API KEY 혹은 DB 연결 정보 등의 개인 정보를 소스 코드에 포함시키지 않고 보안성을 높이는 방법을 소개합니다.'.env' 파일은 app의 환경 설정을 저장하는 데 사용되는 텍스트 파일로 주로 환경 변수를 정의하는 데 사용됩니다. '.env' 파일을 활용하면 소스 코드와 민감한 정보를 분리하여 안전하게 관리할 수 있습니다. 즉, 소스 코드와 설정 값을 분리하여 코드를 변경하지 않고도 설정 값을 쉽게 수정할 수 있습니다. 또한 개발, 테스트, 운영 등 각각의 다른 환경에 맞는 설정 값을 별도로 관리할 수 있습니다. 이 글에서는 '.env'로 API KEY를 안전하게 활용하는 방법에 대해 설명합니다..env 파일.env 파일 활용주의사..

소수점 반올림, 올림, 내림 - numpy, math들어가며이 글에서는 파이썬 패키지인 numpy와 math를 활용하여 소수점 반올림, 올림, 내림에 대해 소개합니다. 데이터의 형태에 따라 2가지 패키지 중 하나를 선택하여 사용하면 됩니다.먼저 필요한 패키지인 pandas, numpy, math를 import하고, 임의의 숫자들로 데이터프레임을 생성합니다.import pandas as pdimport numpy as npimport mathdf = pd.DataFrame({'COL':[0.3542, 1.3585, 7.9671, 4.3317, 0.5143]})df소수점 반올림소수점 올림소수점 내림소수점 반올림 반올림은 round를 사용합니다. 소수점 자릿수에 따라 숫자만 변경합니다. round를 활용한 2..

OpenWeather API 활용 방법 - 실시간 날씨 데이터 수집들어가며OpenWeather는 다양한 날씨 데이터를 제공하는 플랫폼입니다. 실시간 날씨 정보, 예보 등의 데이터를 수집하고 활용할 수 있습니다. 다양한 요금제가 있지만, 현재 날씨 데이터, 5일 동안의 날씨 예보, 과거 날씨 데이터 등 무료로 사용할 수 있는 데이터가 충분히 있습니다. 이 글에서는 현재 날씨 데이터를 파이썬으로 수집하는 방법을 소개합니다.OpenWeather 회원가입무료/유료 요금제 구독실시간 날씨 데이터 수집OpenWeather 회원가입먼저 회원가입을 진행합니다. Username, 이메일, 비밀번호만 입력하면 회원가입은 완료입니다. 회원가입 진행 후, 입력한 이메일에 수신된 '이메일 인증'을 꼭 진행해야 합니다.무료/유료..