데이터 사이언스로 한걸음

MongoDB JSON 데이터 import 및 기본 쿼리 - pymongo들어가며pymongo는 MongoDB 데이터베이스를 다룰 수 있는 파이썬 패키지입니다. 이 글에서는 파이썬과 pymongo 라이브러리를 활용하여 MongoDB 데이터베이스에 JSON 데이터를 import하고, 다양한 쿼리를 활용하여 데이터를 조회하는 방법을 소개합니다.JSON 데이터 import파이썬을 활용한 MongoDB 데이터 조회전체 데이터 조회데이터 개수 제한 조회데이터 정렬 조회단일 조건 데이터 조회복합 조건 데이터 조회단일 데이터 조회정규표현식을 활용한 데이터 조회JSON 데이터 importJSON 데이터를 MongoDB에 import하는 방법은 다음과 같습니다. 먼저, MongoDB 와 JSON 데이터를 위한 패키지를 ..

bokeh를 활용한 인터랙티브 시각화 기초 - 꺾은선, 산점도, 막대그래프들어가며bokeh는 인터랙티브한 웹 기반 시각화를 위한 파이썬 패키지입니다. matplotlib처럼 정적인 이미지 대신, 웹 브라우저에서 동적인 시각화를 제공합니다. 이 글에서는 bokeh의 다양한 기능 중 간단한 시각화를 할 수 있는 plotting에 대해 소개합니다. 다음 예제 데이터를 활용하여 꺾은선 그래프, 산점도, 막대그래프를 시각화하겠습니다.예제 데이터 예제 데이터는 scikit-learn의 캘리포니아 주택 가격 데이터셋을 활용합니다.import pandas as pdfrom sklearn.datasets import fetch_california_housingcalifornia = fetch_california_hous..

특정 조건에 해당하는 컬럼 선택 - 리스트 컴프리핸션, 정규식들어가며데이터 분석을 할 때, 데이터프레임에서 특정 조건에 해당하는 컬럼을 선택해야하는 상황이 종종 발생합니다. 변수의 개수가 적을 때는 직접 지정해도 괜찮지만, 변수가 많은 데이터프레임의 경우 모든 컬럼을 나열하는 방식은 코드의 가독성을 저하시킵니다.이 글에서는 데이터프레임에서 특정 조건에 해당하는 컬럼을 선택하는 방법을 리스트 컴프리핸션 기반 컬럼 필터링과 정규표현식 기반 컬럼 필터링 2가지로 나누어 소개합니다.예제 데이터프레임 예제로 활용할 데이터프레임은 다음과 같습니다. id, uid, vid로 시작하는 컬럼을 3개씩 생성하고, 랜덤으로 값을 생성했습니다.리스트 컴프리핸션 기반 컬럼 필터링정규표현식 기반 컬럼 필터링리스트 컴프리핸션 기반..

벌집 Hexbin 그래프 시각화와 Plotly 대체 방법: matplotlib vs plotly들어가며 히트맵 벌집 그래프(Hexbin plot)는 2차원의 평면을 육각형으로 그리드를 나누고, 각 셀에 해당하는 값을 색으로 표현하는 그래프입니다. 점의 밀도를 시각적으로 보여줌으로써 데이터의 분포나 군집을 파악할 때 매우 효과적입니다. 이 글에서는 파이썬의 matplotlib과 plotly을 활용하여 히트맵 벌집 그래프를 그리는 방법을 소개합니다. 2가지 방법의 가장 큰 차이점은 bin의 형태입니다. matplotlib은 육각형, plotly는 사각형으로 시각화합니다. 예제 데이터 이 글에서 예제로 활용할 데이터는 sciki-learn의 iris 데이터입니다. 먼저, 필요한 패키지를 import합니다.im..

구글 제미나이 Gemini API 활용 방법 - API KEY 발급, 예제들어가며ChatGPT, Claude, Gemini와 같은 생성형 AI 모델의 등장으로 텍스트 요약, 코드 생성 등을 빠르고 간편하게 작업할 수 있습니다. 이 글에서는 파이썬 코드로 Gemini API를 활용하는 방법을 소개합니다. API 키 발급 과정부터 간단한 예제를 통해 실제 사용하는 방법을 확인할 수 있습니다.API 키 발급Gemini 모델 준비Gemini API 예제API 키 발급프로젝트 생성 구글 클라우드 콘솔에서 프로젝트를 생성합니다. 좌측 상단의 '프로젝트 선택'을 클릭합니다.'새 프로젝트' 클릭 후, 프로젝트 이름 등 필요한 항목을 작성하면 새로운 프로젝트가 생성됩니다.API 사용 신청 'API 및 서비스' - '라이..

링크 공유를 위한 QR코드 생성, 글자/이미지 삽입 - qrcode들어가며QR코드는 이미지, 링크 등을 간편하게 공유할 수 있고, 온라인은 물론 오프라인으로도 배포가 가능합니다. 또한, 로고나 색상을 삽입하여 커스터마이징한 QR코드는 브랜드를 강조하고, 마케팅에도 효과적입니다.이 글에서는 QR코드를 생성하고, 텍스트와 이미지 로고를 삽입하는 방법을 함께 소개합니다. 먼저, QR코드 생성에 필요한 패키지를 다운로드합니다.! pip install qrcode링크 공유 QR코드 생성링크 공유 QR코드 - 텍스트 삽입링크 공유 QR코드 - 이미지 삽입전체 코드링크 공유 QR 코드 생성링크를 공유하기 위한 QR코드 생성은 다음과 같습니다.베이스 QR코드 생성먼저 베이스가 되는 QR코드를 생성합니다.version은..

OCR을 활용한 PDF/이미지 텍스트 추출 - pytesseract들어가며본문 문서 혹은 이미지 속 텍스트를 자동으로 인식하는 OCR(Optical Character Recognition, 광학 문자 인식) 기술은 디지털 전환 시대에 꼭 필요한 기술입니다. OCR은 온라인 명함 관리, 종이 문서 디지털화 등 다양한 분야에서 활용되고 있습니다.이 글에서는 OCR 라이브러리인 pytesseract를 활용하여 이미지나 PDF 파일에서 텍스트를 추출하는 방법을 소개합니다. pytesseract 설치이미지 텍스트 추출PDF 텍스트 추출pytesseract 설치 pytesseract를 사용하기 위한 설치 방법은 다음과 같습니다.1. pytesseract 설치먼저 pip를 활용하여 이미지를 처리하는 Pillow 패키..

엑셀 통합파일(.xlsx) 시트별 저장 - ExcelWriter들어가며데이터 분석을 하는 과정에서 .csv 파일뿐만 아니라 엑셀 통합파일을 저장해야 하는 경우가 있습니다. 이때, 판다스의 ExcelWriter을 활용하면 시트별로 저장할 수 있습니다.엑셀 통합파일 생성엑셀 시트 저장엑셀 통합파일 종료먼저 판다스를 import합니다. 데이터는 파이썬에 내장된 데이터셋인 wine, diabetes, iris를 활용하겠습니다. 각각의 데이터를 통합파일 1개에 별도의 시트로 저장합니다.import pandas as pdfrom sklearn.datasets import load_winefrom sklearn.datasets import load_diabetesfrom sklearn.datasets import l..

제21대 대선 후보 검색 트렌드 시각화 - pytrends, 네이버 데이터랩들어가며2025년 6월 3일은 제21대 대통령 선거입니다. 선거가 일주일 앞으로 다가온 시점에서, 검색 트렌드를 분석하여 유권자들의 관심이 어디에 집중되고 있는지 파악해 보겠습니다.이 글에서는 pytrends와 네이버 데이터랩을 사용하여 대선 후보자의 검색량을 추출하고, 시각화하는 방법을 소개합니다. 분석은 장기간(5년), 단기간(1개월)로 나누어 살펴보며, 관심도의 변화를 확인해 보겠습니다.pytrends와 네이버 데이터랩pytrends는 Google에서 제공하는 검색 트렌드 데이터인 Google Trends를 파이썬에서 쉽게 사용할 수 있도록 도와주는 비공식 API 래퍼 라이브러리입니다. 특정 키워드에 대한 관심도 변화, 지역..

파이썬을 활용한 로그 기록 - logging, logger들어가며파이썬의 logging은 로그 기록을 위한 패키지로 애플리케이션의 실행 상태, 디버깅 정보, 경고 및 에러 등을 기록할 수 있습니다. 이 글에서는 logging의 logger 객체에 대한 기본 사용법과 다양한 중요도의 로그 메시지를 생성하는 방법을 소개합니다. 로그 설정logging.basicConfig - 로그 파일 저장logging.StreamHandler - 콘솔 출력로그 기록로그 기록 예제로그 설정 logging은 별도의 패키지 설치없이 기본으로 제공되므로 import 구문으로 바로 사용할 수 있습니다. logging.basicConfig먼저 logging의 basicConfig를 활용하여 로그를 어떻게 기록할지에 대한 설정부터 시작..