데이터 사이언스로 한걸음

오라클 DB 연동 - DB 연결, cx_Oracle들어가며데이터 분석을 하기 위해 DB 연동을 해야 할 때, 파이썬은 매우 편리한 언어입니다. cx_Oracle을 통해서 DB 접속부터 INSERT, UPDATE도 빠른 속도로 처리할 수 있습니다.cx_Oracle 패키지 설치instantclient 다운로드환경변수 등록접속 정보 입력 및 DB 연결cx_Oracle 패키지 설치 DB 연결에 필요한 패키지는 os, cx_Oracle입니다. 패키지를 설치 및 import 합니다.# pip install os# pip install cx_Oracleimport osimport cx_OracleInstant Client 다운로드 오라클 연동을 위해서는 Instant Client가 필요합니다. Oracle 홈페이지에..

PDF 텍스트 추출 - 페이지, 블록, 라인 w/ PyMuPDF들어가며여러 개의 PDF에서 텍스트가 필요할 때, 파이썬을 활용하여 원하는 단위만큼 추출할 수 있습니다. 전체 PDF 추출뿐만 아니라 페이지 단위, 블록 단위, 라인 단위 또한 가능합니다. 이 글에서는 PyMuPDF 패키지를 활용하여 PDF 파일을 읽고, 특정 단위에 맞춰 텍스트를 추출하는 방법을 소개합니다.예제로 활용할 파일의 제목은 "Attention Is All You Need"로 Google Brain 팀의 연구자들이 작성한 NLP 관련 논문입니다. arXiv에 업로드된 논문이므로 누구나 무료로 다운로드하고 읽을 수 있습니다.PDF 전체 텍스트 추출PDF 페이지 단위 텍스트 추출PDF 블록 단위 텍스트 추출PDF 라인 단위 텍스트 추출..

토이 프로젝트 - PC 알림 프로그램 noti-py, plyer들어가며퇴근 전 꼭 확인해야 하는 사항들을 놓치지 않도록, 일정 시간에 자동으로 PC 알림을 보내주는 프로그램을 파이썬으로 구현했습니다. '토이 프로젝트'라고 하기엔 조금 거창하지만, 앞으로 다양한 기능을 추가해 볼 계획이라 noti-py라는 이름을 붙였습니다. 이번에는 간단한 알림 기능을 중심으로 구현해 보았습니다.PC 알리미 noti-py알림 프로그램을 위해 필요한 패키지인 plyer와 시간 처리에 필요한 패키지를 import 합니다.# ! pip install plyerfrom plyer import notificationimport timefrom datetime import datetime, timedelta알림 메세지의 구성 요소는..

한글 워드 클라우드 생성 및 특정 모양 적용 - KoNLPy, mask들어가며워드 클라우드는 텍스트 분석에 주로 사용되는 그래프입니다. 주요 키워드나 텍스트의 분포를 파악하는 데 중요한 역할을 합니다.이 글에서는 KoNLPy 패키지를 사용하여 한글 워드 클라우드를 생성하는 방법에 대해 설명합니다. 또한 생성한 워드 클라우드를 특정 조건으로 필터링하는 방법과 mask 메소드를 사용하여 특정 모양에 적용하는 방법을 소개합니다.텍스트 데이터한글 워드 클라우드 생성특정 조건으로 필터링한 워드 클라우드특정 모양을 적용한 워드 클라우드텍스트 데이터이 글에서 예제로 활용할 텍스트 데이터는 특정 키워드에 대한 뉴스 제목을 크롤링하여 사용하겠습니다. 크롤링에 대한 자세한 방법은 아래 글을 참고하세요. [파이썬] 특정 키..

MNIST 손글씨 숫자 이미지 분류 모델 구현들어가며딥러닝의 Hello World와도 같은 MNIST 데이터를 활용한 딥러닝 모델을 소개합니다. MNIST는 손글씨 숫자 이미지 데이터로 6만 개의 훈련 이미지와 1만 개의 테스트 이미지로 구성되어 있습니다. 이 글에서는 딥러닝 입문 모델인 MNIST 손글씨 숫자 이미지 분류 모델의 과정을 설명하고, 이를 통해 딥러닝의 전체적인 과정을 파악할 수 있습니다.MNIST 데이터셋신경망 모델 구조 및 컴파일데이터 전처리 및 학습예측 및 모델 평가MNIST 데이터셋MNIST 데이터셋은 keras 패키지에 이미 포함되어 있습니다. keras.dataset을 통해 데이터를 로드합니다. 학습 데이터셋은 60,000개의 이미지와 라벨로 구성되어 있고, 테스트 데이터셋은 1..

파이썬으로 텍스트를 이모지로 변환하는 방법 - emoji들어가며파이썬으로 텍스트를 이모지로 변환하는 방법을 소개합니다. 이모지 별칭을 텍스트로 입력받고 이모지로 변환하여 사용해 보세요. 코드 몇 줄이면 더욱 생동감 있는 문장을 완성할 수 있습니다:)이모지 변환이모지 변환 사용자 정의 함수이모지 변환파이썬으로 이모지를 활용하는 패키지는 emoji입니다. pip로 설치하고, import 합니다.# pip install emojiimport emoji텍스트를 이모지로 변환하는 방법은 emojize를 사용합니다. 원하는 텍스트를 text에 저장하고 emojize를 사용하면, 변환된 이모지를 확인할 수 있습니다.text = ':pizza:'emoji.emojize(text)다음과 같이 일반 텍스트와 함께 작성할 ..

지수 표현 없이 숫자 출력하는 방법 - numpy 배열, 데이터프레임들어가며다음 예시와 같이 숫자가 매우 크거나 매우 작은 경우에는 읽기 쉽고 간결한 표현을 위해 지수 표기법으로 출력됩니다.ex 1)  $ 123,000 = 1.23 \times 10^{5} \rightarrow 1.23e+5 $ex 2) $ 0.0000123 = 1.23 \times 10^{-5} \rightarrow 1.23e-5 $하지만, 데이터를 직관적으로 파악하기 어렵기 때문에, 일반적인 숫자 표현이 필요합니다. 이 글에서는 지수 표기법으로 출력된 숫자를 소수점으로 출력하는 방법에 대해 numpy 배열과 데이터프레임으로 분류하여 설명합니다. Numpy 배열의 지수 표현필요한 패키지인 numpy를 import 하고, 지수 표기로 표..

도커에서 파이썬 스크립트 차례대로 실행하는 방법들어가며도커 환경에서 파이썬을 실행할 때 1개의 스크립트가 아닌 2개 이상의 스크립트를 차례대로 실행하는 방법을 소개합니다. 필요한 파일은 .py와 requirements.txt 그리고 Dockerfile입니다.도커 이미지를 빌드를 위한 requirements.txt 생성, Dockerfile 생성과 1개의 파이썬 스크립트 파일을 생성하는 방법은 아래 링크를 참고 부탁드립니다. [파이썬] 도커에서 파이썬 실행 w/ 도커 설치, 이미지 빌드도커에서 파이썬 실행 - 도커 설치, 이미지 빌드들어가며도커는 애플리케이션을 컨테이너라는 가상 환경에서 실행할 수 있는 플랫폼입니다. 도커를 사용하면 필요한 패키지, 파이썬 파일wewegh.tistory.com디렉터리 구성1..

도커에서 파이썬 실행 - 도커 설치, 이미지 빌드들어가며도커는 애플리케이션을 컨테이너라는 가상 환경에서 실행할 수 있는 플랫폼입니다. 도커를 사용하면 필요한 패키지, 파이썬 파일 등을 하나의 패키지로 묶어 일관되게 실행할 수 있습니다. 이를 통해 배포, 테스트, 실행을 효율적이고 일관되게 수행할 수 있는 유용한 도구입니다. 이 글에서는 도커 환경에서 이미지 파일을 생성하고 파이썬 파일을 실행하는 방법에 대해 소개합니다.도커 설치도커 이미지 빌드파이썬 실행도커 설치다음의 링크를 통해 도커를 다운로드합니다. 개인의 PC 사양에 맞는 설치 파일을 선택하고, username 등 필요한 정보를 입력하면 도커를 설치할 수 있습니다. Docker: Accelerated Container Application Deve..

PostgreSQL DB 연동 - DB 연결 및 조회, psycopg2들어가며PostgreSQL은 오픈 소스 데이터베이스 시스템 중 하나로 전 세계적으로 널리 사용되는 데이터베이스입니다. 이 글에서는 파이썬을 활용하여 PostgreSQL DB에 접속하고, SELECT 문으로 조회하는 방법을 소개합니다.psycopg2 패키지 설치DB 연결DB 조회psycopg2 패키지 설치먼저 필요한 패키지를 설치합니다. PostgreSQL을 사용하기 위한 파이썬 패키지는 psycopg2 입니다.pip install psycopg2DB 연결위에서 설치한 패키지를 import하고 DB 연결 정보를 입력합니다. DB에 연결하기 위해 필요한 정보는 host 주소, port 번호, database 이름, user 이름, pass..