데이터 사이언스로 한걸음

디스플레이 옵션 설정 - pandas set_option, reset_option들어가며파이썬 판다스에는 디스플레이 옵션을 설정할 수 있는 set_option, reset_option 함수가 있습니다. 데이터프레임에 맞게 세팅 옵션을 맞추면 편리하게 데이터를 조회할 수 있습니다. 활용할 데이터는 kaggle의 Grocery Store Dataset입니다. 아래 사이트에서 다운로드할 수 있습니다.먼저 판다스를 import 하고, 데이터를 불러옵니다.import pandas as pddf = pd.read_csv(r'GroceryDataset.csv')최대 행 수 디스플레이 옵션 최대 열 수 디스플레이 옵션최대 컬럼 폭 디스플레이 옵션디스플레이 옵션 초기화최대 행 수 디스플레이 옵션pd.set_option(..

내장함수 str - 슬라이싱, find, contains, strip파이썬 내장함수 str넷플릭스 데이터 소개str 슬라이싱str.find()str.contains()str.strip()파이썬 내장함수 str파이썬의 내장함수인 str은 문자열을 처리하는 데 매우 편리합니다. 문자열 인덱싱, 문자열 포함 여부, 문자열 분리 등 빠른 속도로 문자열을 처리할 수 있습니다.이 글에서 활용할 데이터는 캐글 데이터셋 중 Netflix Movies and TV Shows로 넷플릭스의 영화와 TV쇼에 관한 자료입니다.str 슬라이싱 문자열을 원하는 길이만큼 슬라이싱할 때 사용합니다.description 변수가 너무 길어서 일부만 나타내고 싶다면 다음과 같습니다.netflix['description_rev'] = net..

zip 파일 read, 압축/ 해제 - read_csv, compression, zipfile들어가며파이썬에서 zip 파일을 읽고, 쓰는 방법을 소개합니다. read_csv의 compression 옵션을 통하여 압축을 해제하지 않고도 파일을 읽을 수 있습니다. zipfile 패키지를 통해서는 zip 파일을 압축 해제하고, 압축 파일을 생성할 수 있습니다.zip 파일 read - pd.read_csv, compression먼저 필요한 패키지인 pandas를 다운로드하고, import 합니다.# pip install pandasimport pandas as pd만약에 압축된 csv인 test_fc.zip를 읽는다고 가정하겠습니다. read_csv로 파일을 읽을 때, compression='zip' 옵션을 넣..

허깅 페이스를 활용한 텍스트 감정 분석들어가며허깅 페이스는 머신러닝 라이브러리를 제공하는 인공지능 플랫폼입니다. 자연어 처리 기술이 발전하며 '감정 분석'은 고객 리뷰 분석, SNS 모니터링 등 다양한 분야에서 활용이 가능합니다. 특히, 허깅 페이스의 사전 학습된 모델을 활용하면 모델 학습 과정 없이 간단한 코드만으로 감정 분석을 할 수 있습니다.이 글에서는 허깅 페이스 파이프라인을 활용한 기본 감정 분석, 특정 모델을 활용한 감정 분석과 한국어 감정 분석 모델을 활용하는 방법에 대해 소개합니다.필요한 패키지인 transformers와 torch를 설치합니다.pip install transformers torch허깅 페이스 파이프라인을 활용한 감정 분석허깅 페이스의 특정 모델을 활용한 감정 분석허깅페이스..

print문/출력문 로그 txt 저장 - open, file들어가며긴 시간동안 소스를 실행해야 하는 경우, 터미널에 출력문이 많아져 확인을 못하는 경우가 발생합니다. 이런 경우에는 txt 파일로 출력 로그를 따로 저장하여 관리하면 편리합니다.txt파일 print문 저장 먼저 print문을 저장할 로그 txt 파일을 생성합니다. 'w' 옵션은 쓰기 모드를 의미합니다.log_txt1 = open('num_100.txt','w')txt 파일을 생성한 후에, 원하는 print문에 file 옵션을 붙이기만 하면 됩니다. 예를 들어, for문을 활용하여 0부터 100까지의 숫자를 txt 파일에 저장하겠습니다.import datetime for i in range(0, 100): print(i, datetime..

터미널 출력문 글꼴, 음영 색상 변경 - colorama colorama 패키지 다운로드print문 글꼴 색상 변경print문 글꼴 음영 색상 변경print문 글꼴+음영 색상 변경colorama 패키지파이썬에는 print문의 색상과 음영을 변경하는 패키지인 colorama가 있습니다. colorama를 사용하면, 수많은 print문 속에서 중요한 문장들은 빨간색으로 중요 표시를 할 수 있습니다.먼저, pip install로 colorama 패키지를 설치하고 import 합니다.# pip install colorama # colorama downloadimport coloramafrom colorama import Fore, Backprint문 글꼴 색상 변경 dir로 colorama에서 사용가능한 색상을..

공공데이터 API 활용 XML 파싱 - 기상청 시간 데이터 추출OUTLINE공공데이터 활용패키지 불러오기분석지역xml 파싱 step1. totalCount 조회xml 파싱 step2. 데이터프레임 생성전체 지역 데이터 추출 코드공공데이터 활용 데이터 분석을 하다 보면, 공공데이터를 활용할 때가 종종 생긴다. 이런 경우, 하나하나 클릭하며 데이터를 다운로드하는 것보다 파이썬 패키지들을 활용하면 편리하게 다운로드할 수 있다. 이 글에서 사용할 데이터는 기상청의 종관 기상 관측 데이터로 전국의 1시간 단위 기상에 대한 자료이다. 파이썬의 requests, bs4(beautifulsoup), xmltodict 패키지들을 활용하여 http 요청부터 xml을 파싱 하여 데이터프레임으로 생성하는 단계까지 진행한다.패..

XGBRegressor 모델 성능 평가 지표 - 결정계수, RMSE, MAPE들어가며XGBRegressor를 활용하여 모델을 생성했다면, 모델의 성능을 평가해야 합니다. 결정계수, RMSE, MAPE 등을 출력하는 방법을 소개합니다. 내장 데이터셋인 iris를 예제로 사용합니다.모델 성능 평가 지표예제 데이터로 sklearn의 iris 데이터를 활용하겠습니다.from sklearn.datasets import load_irisimport pandas as pdiris = load_iris()df_iris = pd.DataFrame(iris.data, columns=iris.feature_names)print(len(df_iris))df_iris.head()임의로 sepal length를 예측 변수로 설정..

오라클 DB 연동 - DB 조회, 업데이트, cx_Oracle오라클 DB 연동 - DB 연결, cx_Oracle에 이어서 작성합니다.들어가며데이터 분석을 하기 위해 DB연동을 해야 할 때, 파이썬은 매우 편리한 언어입니다. cx_Oracle을 통해 DB를 조회하고, 업데이트하는 방법을 소개합니다.DB 조회 | SELECTDB UPDATE전체 코드먼저, 필요한 패키지 import와 함께 DB에 연결합니다. import osimport pandas as pdimport cx_OracleLOCATION = r"C:/instantclient-basic-windows.x64-21.3.0.0.0/instantclient_21_3/"os.environ['PATH'] = LOCATION + ';' + os.enviro..

오라클 DB 연동 - DB 연결, cx_Oracle들어가며데이터 분석을 하기 위해 DB 연동을 해야 할 때, 파이썬은 매우 편리한 언어입니다. cx_Oracle을 통해서 DB 접속부터 INSERT, UPDATE도 빠른 속도로 처리할 수 있습니다.cx_Oracle 패키지 설치instantclient 다운로드환경변수 등록접속 정보 입력 및 DB 연결cx_Oracle 패키지 설치 DB 연결에 필요한 패키지는 os, cx_Oracle입니다. 패키지를 설치 및 import 합니다.# pip install os# pip install cx_Oracleimport osimport cx_OracleInstant Client 다운로드 오라클 연동을 위해서는 Instant Client가 필요합니다. Oracle 홈페이지에..