데이터 사이언스로 한걸음

공공데이터 API 활용 XML 파싱 - 기상청 시간 데이터 추출OUTLINE공공데이터 활용패키지 불러오기분석지역xml 파싱 step1. totalCount 조회xml 파싱 step2. 데이터프레임 생성전체 지역 데이터 추출 코드공공데이터 활용 데이터 분석을 하다 보면, 공공데이터를 활용할 때가 종종 생긴다. 이런 경우, 하나하나 클릭하며 데이터를 다운로드하는 것보다 파이썬 패키지들을 활용하면 편리하게 다운로드할 수 있다. 이 글에서 사용할 데이터는 기상청의 종관 기상 관측 데이터로 전국의 1시간 단위 기상에 대한 자료이다. 파이썬의 requests, bs4(beautifulsoup), xmltodict 패키지들을 활용하여 http 요청부터 xml을 파싱 하여 데이터프레임으로 생성하는 단계까지 진행한다.패..

XGBRegressor 모델 성능 평가 지표 - 결정계수, RMSE, MAPE들어가며XGBRegressor를 활용하여 모델을 생성했다면, 모델의 성능을 평가해야 합니다. 결정계수, RMSE, MAPE 등을 출력하는 방법을 소개합니다. 내장 데이터셋인 iris를 예제로 사용합니다.모델 성능 평가 지표예제 데이터로 sklearn의 iris 데이터를 활용하겠습니다.from sklearn.datasets import load_irisimport pandas as pdiris = load_iris()df_iris = pd.DataFrame(iris.data, columns=iris.feature_names)print(len(df_iris))df_iris.head()임의로 sepal length를 예측 변수로 설정..

오라클 DB 연동 - DB 조회, 업데이트, cx_Oracle오라클 DB 연동 - DB 연결, cx_Oracle에 이어서 작성합니다.들어가며데이터 분석을 하기 위해 DB연동을 해야 할 때, 파이썬은 매우 편리한 언어입니다. cx_Oracle을 통해 DB를 조회하고, 업데이트하는 방법을 소개합니다.DB 조회 | SELECTDB UPDATE전체 코드먼저, 필요한 패키지 import와 함께 DB에 연결합니다. import osimport pandas as pdimport cx_OracleLOCATION = r"C:/instantclient-basic-windows.x64-21.3.0.0.0/instantclient_21_3/"os.environ['PATH'] = LOCATION + ';' + os.enviro..

오라클 DB 연동 - DB 연결, cx_Oracle들어가며데이터 분석을 하기 위해 DB 연동을 해야 할 때, 파이썬은 매우 편리한 언어입니다. cx_Oracle을 통해서 DB 접속부터 INSERT, UPDATE도 빠른 속도로 처리할 수 있습니다.cx_Oracle 패키지 설치instantclient 다운로드환경변수 등록접속 정보 입력 및 DB 연결cx_Oracle 패키지 설치 DB 연결에 필요한 패키지는 os, cx_Oracle입니다. 패키지를 설치 및 import 합니다.# pip install os# pip install cx_Oracleimport osimport cx_OracleInstant Client 다운로드 오라클 연동을 위해서는 Instant Client가 필요합니다. Oracle 홈페이지에..

PDF 텍스트 추출 - 페이지, 블록, 라인 w/ PyMuPDF들어가며여러 개의 PDF에서 텍스트가 필요할 때, 파이썬을 활용하여 원하는 단위만큼 추출할 수 있습니다. 전체 PDF 추출뿐만 아니라 페이지 단위, 블록 단위, 라인 단위 또한 가능합니다. 이 글에서는 PyMuPDF 패키지를 활용하여 PDF 파일을 읽고, 특정 단위에 맞춰 텍스트를 추출하는 방법을 소개합니다.예제로 활용할 파일의 제목은 "Attention Is All You Need"로 Google Brain 팀의 연구자들이 작성한 NLP 관련 논문입니다. arXiv에 업로드된 논문이므로 누구나 무료로 다운로드하고 읽을 수 있습니다.PDF 전체 텍스트 추출PDF 페이지 단위 텍스트 추출PDF 블록 단위 텍스트 추출PDF 라인 단위 텍스트 추출..

토이 프로젝트 - PC 알림 프로그램 noti-py, plyer들어가며퇴근 전 꼭 확인해야 하는 사항들을 놓치지 않도록, 일정 시간에 자동으로 PC 알림을 보내주는 프로그램을 파이썬으로 구현했습니다. '토이 프로젝트'라고 하기엔 조금 거창하지만, 앞으로 다양한 기능을 추가해 볼 계획이라 noti-py라는 이름을 붙였습니다. 이번에는 간단한 알림 기능을 중심으로 구현해 보았습니다.PC 알리미 noti-py알림 프로그램을 위해 필요한 패키지인 plyer와 시간 처리에 필요한 패키지를 import 합니다.# ! pip install plyerfrom plyer import notificationimport timefrom datetime import datetime, timedelta알림 메세지의 구성 요소는..

한글 워드 클라우드 생성 및 특정 모양 적용 - KoNLPy, mask들어가며워드 클라우드는 텍스트 분석에 주로 사용되는 그래프입니다. 주요 키워드나 텍스트의 분포를 파악하는 데 중요한 역할을 합니다.이 글에서는 KoNLPy 패키지를 사용하여 한글 워드 클라우드를 생성하는 방법에 대해 설명합니다. 또한 생성한 워드 클라우드를 특정 조건으로 필터링하는 방법과 mask 메소드를 사용하여 특정 모양에 적용하는 방법을 소개합니다.텍스트 데이터한글 워드 클라우드 생성특정 조건으로 필터링한 워드 클라우드특정 모양을 적용한 워드 클라우드텍스트 데이터이 글에서 예제로 활용할 텍스트 데이터는 특정 키워드에 대한 뉴스 제목을 크롤링하여 사용하겠습니다. 크롤링에 대한 자세한 방법은 아래 글을 참고하세요. [파이썬] 특정 키..

MNIST 손글씨 숫자 이미지 분류 모델 구현들어가며딥러닝의 Hello World와도 같은 MNIST 데이터를 활용한 딥러닝 모델을 소개합니다. MNIST는 손글씨 숫자 이미지 데이터로 6만 개의 훈련 이미지와 1만 개의 테스트 이미지로 구성되어 있습니다. 이 글에서는 딥러닝 입문 모델인 MNIST 손글씨 숫자 이미지 분류 모델의 과정을 설명하고, 이를 통해 딥러닝의 전체적인 과정을 파악할 수 있습니다.MNIST 데이터셋신경망 모델 구조 및 컴파일데이터 전처리 및 학습예측 및 모델 평가MNIST 데이터셋MNIST 데이터셋은 keras 패키지에 이미 포함되어 있습니다. keras.dataset을 통해 데이터를 로드합니다. 학습 데이터셋은 60,000개의 이미지와 라벨로 구성되어 있고, 테스트 데이터셋은 1..

파이썬으로 텍스트를 이모지로 변환하는 방법 - emoji들어가며파이썬으로 텍스트를 이모지로 변환하는 방법을 소개합니다. 이모지 별칭을 텍스트로 입력받고 이모지로 변환하여 사용해 보세요. 코드 몇 줄이면 더욱 생동감 있는 문장을 완성할 수 있습니다:)이모지 변환이모지 변환 사용자 정의 함수이모지 변환파이썬으로 이모지를 활용하는 패키지는 emoji입니다. pip로 설치하고, import 합니다.# pip install emojiimport emoji텍스트를 이모지로 변환하는 방법은 emojize를 사용합니다. 원하는 텍스트를 text에 저장하고 emojize를 사용하면, 변환된 이모지를 확인할 수 있습니다.text = ':pizza:'emoji.emojize(text)다음과 같이 일반 텍스트와 함께 작성할 ..

지수 표현 없이 숫자 출력하는 방법 - numpy 배열, 데이터프레임들어가며다음 예시와 같이 숫자가 매우 크거나 매우 작은 경우에는 읽기 쉽고 간결한 표현을 위해 지수 표기법으로 출력됩니다.ex 1)  $ 123,000 = 1.23 \times 10^{5} \rightarrow 1.23e+5 $ex 2) $ 0.0000123 = 1.23 \times 10^{-5} \rightarrow 1.23e-5 $하지만, 데이터를 직관적으로 파악하기 어렵기 때문에, 일반적인 숫자 표현이 필요합니다. 이 글에서는 지수 표기법으로 출력된 숫자를 소수점으로 출력하는 방법에 대해 numpy 배열과 데이터프레임으로 분류하여 설명합니다. Numpy 배열의 지수 표현필요한 패키지인 numpy를 import 하고, 지수 표기로 표..