데이터 사이언스로 한걸음

plotly를 활용한 꺾은선그래프 - plotly.express들어가며plotly는 인터랙티브한 그래프를 그릴 수 있는 그래픽 패키지입니다. 기본적으로 모든 차트를 대화형으로 지원하여, 세부 정보 표시, 확대 등이 가능합니다. 이 글에서는 plotly를 활용한 꺾은선그래프를 생성하고, 커스터마이징 하는 방법을 소개합니다.예제로 활용할 데이터는 kaggle의 기상에 관한 데이터 셋입니다. 아래 링크를 참고하세요.  Weather Long-term Time Series Forecasting20 Meteorological Indicators Observed Every 10 Minutes in 2020www.kaggle.com먼저 필요한 패키지를 import하고 데이터를 df에 저장합니다.import panda..

모듈화를 활용한 함수 호출, 재사용성 증가들어가며파이썬에서 모듈화는 코드를 효율적으로 작성하고, 재사용성을 높이는 방법입니다. 파일을 분리하여 함수나 클래스를 정의하고, 필요한 파일에서 불러와 사용하면 관리도 쉽고, 가독성도 높일 수 있습니다.이 글에서는 모듈화의 장점과 함께 파이썬으로 모듈화하는 방법을 소개합니다.모듈화의 장점한 번 정의한 함수를 여러 파일에서 사용할 수 있어 코드의 재사용성을 높일 수 있습니다.특정 기능이 분리되어 있어 수정이 필요할 때 해당 모듈만 변경하면 됩니다. 따라서 유지보수가 용이합니다.코드를 기능별로 분리하고, 전체 코드의 구조가 명확해짐으로써 가독성을 향상시킵니다.특정 기능을 필요시에만 import하여 불필요한 메모리 사용을 줄일 수 있습니다. 따라서 성능을 최적화하는 데..

plotly를 활용한 막대그래프 - plotly.express들어가며plotly는 인터랙티브한 그래프를 그릴 수 있는 그래픽 패키지입니다. 기본적으로 모든 차트를 대화형으로 지원하여, 세부 정보 표시, 확대 등이 가능합니다. 이 글에서는 plotly를 활용한 막대그래프를 생성하고, 커스터마이징 하는 방법을 소개합니다.예제로 활용할 데이터는 kaggle의 휴대폰 사용량에 관한 데이터 셋입니다. 아래 링크를 참고하세요. Mobile Device Usage and User Behavior DatasetAnalyzing Mobile Usage Patterns and User Behavior Classification Across Deviceswww.kaggle.com먼저 필요한 패키지를 import하고 데이터를..

텍스트 빈도 분석을 위한 워드 클라우드(영문) - wordcloud, matplotlib들어가며워드클라우드는 텍스트 데이터에 존재하는 단어의 빈도에 따라 크기별로 시각화합니다. 한 눈에 데이터의 전반적인 상태를 파악할 수 있다는 장점이 있습니다. 이 글에서는 파이썬으로 워드클라우드를 생성하고, 특정 단어를 제외하거나 커스터마이징하는 방법을 소개합니다.이 글에서 활용할 데이터는 캐글의 스포티파이 이용자 리뷰 데이터 셋입니다. 아래 링크에서 다운로드 받을 수 있습니다.  Spotify User ReviewsExploring Positive and Negative Feedback from Real Users to Uncover Key Insightswww.kaggle.com워드클라우드 생성특정 단어를 제외한 ..

CCTV 이미지를 활용한 이미지 객체 탐지 - 박스 표시, yolov5들어가며CCTV 이미지를 활용하여 객체를 탐지하고, 탐지한 객체에 박스를 표시하는 방법을 소개합니다. yolov5는 pytorch를 기반으로 구현된 모델이므로 사전에 pytorch 설치가 필요합니다. 공식 github를 참고하세요. 이 글에서는 모든 패키지가 설치되어 있다는 가정 하에 패키지 로드부터 시작합니다. cv2와 torch 패키지를 import합니다.import cv2import torchCCTV 이미지이미지 객체 탐지탐지된 객체에 박스 표시CCTV 이미지CCTV 이미지는 'AI Hub'의 교통문제 해결을 위한 CCTV 교통 영상(고속도로)에서 다운로드했습니다. sample 이미지를 matplotlib을 활용하여 확인하겠습니다..

데이터프레임 형태 변환 - pandas, melt들어가며  데이터프레임의 형태 변환이 필요할 때, pandas의 melt를 활용한다. melt는 단어 그대로 데이터프레임을 녹여 원하는 형태로 재생성하는 것이다. 특정 열을 기준으로 다른 하나의 열을 활용하여 새로운 데이터프레임을 생성한다.melt먼저 필요한 패키지인 pandas를 import 하고, 데이터를 불러옵니다. sample_melt.csv는 난수를 활용하여 생성한 sample 데이터입니다. 위 파일을 다운로드하여 연습해 보세요.import pandas as pddf = pd.read_csv('sample_melt.csv')dfdf는 10x10 형태의 데이터프레임입니다. df를 melt를 활용하여 데이터 분석에 적합한 형태로 변환하면 다음과 같습니..

데이터 집계 및 요약 - pandas, pivot_table들어가며파이썬으로 데이터 분석을 하기 위해 데이터를 집계하고 요약이 필요한 경우에는 pandas의 pivot_table이 매우 유용합니다. 한눈에 보기 편한 표를 만들 수 있는 피벗 테이블 기능에 집계를 할 때 사용하는 groupby의 기능을 aggfunc으로 옵션을 추가하여 사용할 수 있습니다.캐글 데이터 소개이 글에서 활용할 데이터는 캐글 데이터셋 중 미국의 전력 가격에 대한 데이터셋입니다. 2001년부터 2024년 기간 동안의 연도별 월별 지역별 전력 가격, 수익, 판매량에 대한 정보가 있습니다. 자세한 내용은 캐글 사이트를 참고 부탁드립니다.데이터 분석위에서 설명한 데이터셋으로 여러 컬럼들을 활용하여 피벗테이블을 만들어보겠습니다. 피벗테이..

파이썬을 활용한 이미지 배경 제거 - PIL, rembg들어가며이미지를 활용하여 학습 데이터셋을 생성할 때, 이미지 전처리가 필요합니다. 불필요한 노이즈가 많이 생긴 이미지는 배경 제거가 필수 과정입니다. 이 글에서는 파이썬으로 이미지의 배경을 제거하는 방법을 소개합니다.먼저 필요한 패키지를 import합니다.from rembg import removefrom PIL import Image배경을 제거할 이미지의 input 경로와 output 경로를 input_path와 output_path에 저장합니다.input_path = 'horse_asis.jpg'output_path = 'output.png'이미지 샘플은 픽사베이의 무료 이미지를 사용하겠습니다. 샘플은 다음과 같습니다. 샘플 이미지의 배경인 잔디..

데이터프레임 행, 열 선택 - loc, iloc들어가며파이썬에서 데이터프레임의 행, 열을 선택하는 경우에는 loc, iloc를 사용합니다. 여러 행 또는 열을 선택할 때, 인덱스를 통하여 손쉽게 원하는 데이터 형태로 인덱싱할 수 있습니다.iloc와 loc를 사용하기 위해서는 인덱스와 라벨에 대한 이해가 필요합니다. 파이썬에서 인덱스는 0부터 시작하므로 순서대로 아래의 이미지와 같이 번호가 부여됩니다. 즉, 행과 열의 위치를 나타내는 번호입니다. 라벨은 컬럼명을 의미합니다. 예를 들어, 아래 데이터프레임의 Occupation 컬럼의 인덱스 번호는 3이고, 라벨은 'Occupation'입니다.데이터 소개  이 글에서 활용할 데이터는 캐글 데이터셋 중 Online Food Dataset로 온라인 음식 주문 플..