데이터 사이언스로 한걸음

YAML 설정 파일로 ML 실험 관리하기 - pyyaml 기본 패턴들어가며머신러닝 프로젝트를 진행하다 보면 학습률, 배치 사이즈, Epoch 수 등 수많은 하이퍼파라미터를 반복적으로 수정하게 됩니다. 이 값들을 파이썬 코드 안에 직접 작성하면, 실험할 때마다 코드를 열고 수정해야 하는 문제가 생깁니다.예를 들어, 학습률 0.001로 실험한 뒤 0.01로 바꿔보고 싶다면 어떻게 할까요? 코드를 직접 수정하면 이전 값을 기록해두지 않는 이상 어떤 조건에서 어떤 결과가 나왔는지 추적하기 어렵습니다.YAML 파일을 활용하면 설정값을 코드와 분리하여 관리할 수 있습니다. 코드는 건드리지 않고 YAML 파일만 수정하는 것으로 실험 환경을 전환할 수 있으며, 파일별로 버전을 관리하면 실험 조건 추적도 용이합니다.이 ..

[PyTorch] CPU vs GPU - CUDA 설치부터 학습 속도 비교까지 들어가며컴퓨터에는 CPU와 GPU 두 가지 핵심 연산 장치가 있습니다.CPU는 복잡한 논리 연산을 순차적으로 처리하는 데 최적화된 범용 프로세서이고, GPU는 원래 그래픽 렌더링을 위해 설계되었지만, 수천 개의 코어를 이용해 단순한 연산을 동시에 대량으로 처리할 수 있다는 특성 덕분에 딥러닝과 데이터 처리 분야에서도 널리 활용되고 있습니다. 특히 딥러닝 모델 학습은 행렬 곱셈과 같은 단순 연산을 수없이 반복하는 작업입니다. 이는 GPU의 병렬 처리 구조와 잘 맞아 동일한 작업을 CPU로 처리할 때보다 수 배에서 수십 배 빠른 속도를 기대할 수 있습니다.이 글에서는 내 PC의 GPU 사양 확인부터 GPU를 실제 사용하기 위한 P..

TSP Traveling Salesman Problem 문제 해결 - ‘완전 탐색’ 구현들어가며TSP는 Traveling Salesman Problem의 약자로, 흔히 외판원 문제로 잘 알려져 있습니다. 여러 도시를 각각 한 번씩만 방문하고, 출발했던 도시로 돌아올 때 총 이동 거리가 가장 짧은 경로를 찾는 문제입니다.TSP에 대한 간단한 기초 개념은 다음 글을 참고해 주세요:) [이론] TSP Traveling Salesman Problem - 기초 개념 정리TSP Traveling Salesman Problem - 기초 개념 정리TSP란? TSP는 Traveling Salesman Problem의 약자로, 흔히 외판원 문제로 잘 알려져 있습니다. 여러 도시를 각각 한 번씩만 방문하고, 출발했던 도시로..

opendataloader-pdf를 활용한 PDF 변환: txt, json, html, markdown들어가며한컴에서 PDF를 TXT, JSON, HTML, 마크다운 Markdown 형태로 변환할 수 있는 기술을 오픈소스로 공개했습니다. 다양한 형태로 변환 가능하고, 빠르고 가볍다는 장점으로 RAG, 벡터 검색 등 AI 기술에 매우 유용하게 활용할 수 있습니다. 이 글에서는 opendataloader-pdf를 활용하여 PDF를 TXT, JSON, HTML, 마크다운 Markdown 형식으로 변환하는 방법을 소개합니다. opendataloader-pdf에 대한 더 자세한 정보는 아래 링크를 참고해 주세요:) OpenDataLoaderPDF Data loader for AI/ML datasets. Easi..

특정 키워드 네이버 뉴스 제목 크롤링 - BeautifulSoup들어가며크롤링은 웹사이트에서 자동으로 데이터를 수집하는 기술입니다. 사람이 직접 웹사이트를 클릭하여 데이터를 수집하는 대신, 파이썬 등을 활용하면 편리하게 데이터를 추출할 수 있습니다. 하지만, 서버에 부담을 줄 수 있는 요청은 IP 차단을 초래할 수 있어 조심해야 합니다.이 글에서는 예제로 '비트코인'에 대한 네이버 뉴스 제목을 크롤링하는 방법을 소개합니다.키워드, URL 설정웹 페이지 요청뉴스 제목 데이터프레임 생성전체 코드키워드, URL 설정먼저 필요한 패키지인 requests와 BeautifulSoup를 import합니다.import requestsfrom bs4 import BeautifulSoup위에서 설명한 대로 검색할 키워드..

데이터프레임 행, 열 선택 - loc, iloc들어가며파이썬에서 데이터프레임의 행, 열을 선택하는 경우에는 loc, iloc를 사용합니다. 여러 행 또는 열을 선택할 때, 인덱스를 통하여 손쉽게 원하는 데이터 형태로 인덱싱할 수 있습니다.iloc와 loc를 사용하기 위해서는 인덱스와 라벨에 대한 이해가 필요합니다. 파이썬에서 인덱스는 0부터 시작하므로 순서대로 아래의 이미지와 같이 번호가 부여됩니다. 즉, 행과 열의 위치를 나타내는 번호입니다. 라벨은 컬럼명을 의미합니다. 예를 들어, 아래 데이터프레임의 Occupation 컬럼의 인덱스 번호는 3이고, 라벨은 'Occupation'입니다.데이터 소개 이 글에서 활용할 데이터는 캐글 데이터셋 중 Online Food Dataset로 온라인 음식 주문 플..

MongoDB JSON 데이터 import 및 기본 쿼리 - pymongo들어가며pymongo는 MongoDB 데이터베이스를 다룰 수 있는 파이썬 패키지입니다. 이 글에서는 파이썬과 pymongo 라이브러리를 활용하여 MongoDB 데이터베이스에 JSON 데이터를 import하고, 다양한 쿼리를 활용하여 데이터를 조회하는 방법을 소개합니다.JSON 데이터 import파이썬을 활용한 MongoDB 데이터 조회전체 데이터 조회데이터 개수 제한 조회데이터 정렬 조회단일 조건 데이터 조회복합 조건 데이터 조회단일 데이터 조회정규표현식을 활용한 데이터 조회JSON 데이터 importJSON 데이터를 MongoDB에 import하는 방법은 다음과 같습니다. 먼저, MongoDB 와 JSON 데이터를 위한 패키지를 ..

bokeh를 활용한 인터랙티브 시각화 기초 - 꺾은선, 산점도, 막대그래프들어가며bokeh는 인터랙티브한 웹 기반 시각화를 위한 파이썬 패키지입니다. matplotlib처럼 정적인 이미지 대신, 웹 브라우저에서 동적인 시각화를 제공합니다. 이 글에서는 bokeh의 다양한 기능 중 간단한 시각화를 할 수 있는 plotting에 대해 소개합니다. 다음 예제 데이터를 활용하여 꺾은선 그래프, 산점도, 막대그래프를 시각화하겠습니다.예제 데이터 예제 데이터는 scikit-learn의 캘리포니아 주택 가격 데이터셋을 활용합니다.import pandas as pdfrom sklearn.datasets import fetch_california_housingcalifornia = fetch_california_hous..

특정 조건에 해당하는 컬럼 선택 - 리스트 컴프리핸션, 정규식들어가며데이터 분석을 할 때, 데이터프레임에서 특정 조건에 해당하는 컬럼을 선택해야하는 상황이 종종 발생합니다. 변수의 개수가 적을 때는 직접 지정해도 괜찮지만, 변수가 많은 데이터프레임의 경우 모든 컬럼을 나열하는 방식은 코드의 가독성을 저하시킵니다.이 글에서는 데이터프레임에서 특정 조건에 해당하는 컬럼을 선택하는 방법을 리스트 컴프리핸션 기반 컬럼 필터링과 정규표현식 기반 컬럼 필터링 2가지로 나누어 소개합니다.예제 데이터프레임 예제로 활용할 데이터프레임은 다음과 같습니다. id, uid, vid로 시작하는 컬럼을 3개씩 생성하고, 랜덤으로 값을 생성했습니다.리스트 컴프리핸션 기반 컬럼 필터링정규표현식 기반 컬럼 필터링리스트 컴프리핸션 기반..

벌집 Hexbin 그래프 시각화와 Plotly 대체 방법: matplotlib vs plotly들어가며 히트맵 벌집 그래프(Hexbin plot)는 2차원의 평면을 육각형으로 그리드를 나누고, 각 셀에 해당하는 값을 색으로 표현하는 그래프입니다. 점의 밀도를 시각적으로 보여줌으로써 데이터의 분포나 군집을 파악할 때 매우 효과적입니다. 이 글에서는 파이썬의 matplotlib과 plotly을 활용하여 히트맵 벌집 그래프를 그리는 방법을 소개합니다. 2가지 방법의 가장 큰 차이점은 bin의 형태입니다. matplotlib은 육각형, plotly는 사각형으로 시각화합니다. 예제 데이터 이 글에서 예제로 활용할 데이터는 sciki-learn의 iris 데이터입니다. 먼저, 필요한 패키지를 import합니다.im..