데이터 사이언스로 한걸음

RDS 서비스를 활용한 MySQL 무료 DB 구축들어가며AWS 서비스 중 RDS를 활용하여 무료로 MySQL 데이터베이스를 구축하는 방법을 소개합니다. 프리티어 계정으로 교육용 또는 개인 프로젝트를 위한 DB를 편리하게 생성할 수 있습니다.RDS다음 이미지와 같이 AWS에서 RDS 서비스를 검색합니다. '데이터베이스 생성'을 클릭합니다.엔진 선택데이터베이스 생성 방식은 '표준 생성', 엔진 옵션은 'MySQL'을 선택합니다.템플릿템플릿은 '프리 티어'를 선택합니다.설정DB 인스턴스 식별자를 작성합니다. DB 인스턴스 식별자는 AWS RDS에서 특정 DB 인스턴스를 구별하는 고유한 이름입니다.자격 증명 설정에서 마스터 사용자 이름과 마스터 암호를 설정합니다.인스턴스 구성인스턴스 구성은 디폴트로 설정합니다...

'논문 일기'시리즈는 본격적으로 논문을 작성하기 시작한 5학기에 겪었던 주제를 선택하는 방법부터 최종적으로 논문을 제출하기까지의 과정을 다시 돌아보며 글로 남기고, 이제 애증이 깃든 논문을 떠나보내려 한다. 이 글이 대학원을 준비하고 있거나 이미 석사 과정을 밟고 있는 분들께 조금이라도 도움이 되길 바란다.논문 일기 1편 - 주제 탐색들어가며  논문을 작성하기 전 생각해야 하는 첫 번째는 '무엇에 대한 연구를 진행할 것인가'이다. 이 질문은 논문의 첫 페이지부터 마지막 페이지를 작성할 때까지 절대 놓지 말아야 한다. 논문은 가설을 설정하고, 나의 가설을 입증하는 과정이다. 따라서 '무엇'을 연구할지에 대한 갈피를 잡아야 연구의 필요성, 배경과 목적을 연결 지어서 글로 작성할 수 있다.  나는 이런 스토리..

파이썬을 활용한 메모리 사용량 확인 - psutil, sys들어가며대용량 데이터 전처리 혹은 복잡한 코드를 실행할 때, 메모리 사용량이 급격하게 증가하는 경우가 생깁니다. 혹여나 시스템의 성능에 영향을 줄 수 있는 상황을 예방하기 위해 메모리 사용량을 확인하고 관리하는 것이 중요합니다.  이 글에서는 파이썬을 활용하여 메모리 사용량을 확인하는 방법을 소개합니다.메모리 확인에 필요한 패키지는 psutil입니다. psutil을 import 합니다.# ! pip install psutilimport psutil현재 메모리 상태 확인변수별 메모리 상태 확인현재 메모리 상태 확인psutil의 virtual_memory는 현재 시스템의 메모리 상태를 확인할 수 있습니다. 주요 항목은 다음과 같습니다.total은 총..

Mac에서 KoNLPy 설치 - OpenJDK부터 Java 설정까지들어가며KoNLPy는 한글 텍스트 분석을 하기 위한 필수 패키지입니다. 이 글에서는 mac 환경에서 konlpy 패키지를 설치하는 방법을 소개합니다. KoNLPy는 Java 기반의 한국어 형태소 분석기를 사용하기 때문에 Java와 JPype1 라이브러리가 필요합니다. 따라서, KoNLPy 패키지 설치 방법과 함께 OpenJDK와 Java 환경 변수 설정하는 방법까지 모두 소개합니다.OpenJDK 설치Java 설정KoNLPy 패키지 설치OpenJDK 설치OpenJDK 설치는 Homebrew를 이용합니다.brew install openjdkbrew list로 openjdk 설치 여부를 확인합니다. openjdk가 설치된 것을 확인할 수 있습니..

Docker 명령어 아카이브들어가며도커는 애플리케이션을 컨테이너라는 가상 환경에서 실행할 수 있는 플랫폼입니다. 도커를 사용하면 필요한 패키지, 파이썬 파일 등을 하나의 패키지로 묶어 일관되게 실행할 수 있습니다. 이를 통해 배포, 테스트, 실행을 효율적이고 일관되게 수행할 수 있는 유용한 도구입니다. 이 글에서는 이미지 빌드부터 실행, 삭제까지 도커에 대한 명령어를 소개합니다.도커 이미지 빌드도커 이미지 확인도커 실행도커 컨테이너 확인도커 실행 로그 확인도커 컨테이너 재시작도커 컨테이너 삭제도커 이미지 삭제도커 이미지 빌드 이미지 이름을 지정하지 않고, 이미지를 빌드하는 방법은 다음과 같습니다.docker build .이미지 이름(test_img)을 지정하여 이미지를 빌드하는 방법은 다음과 같습니다.#..

[Oracle SQL] 날짜 데이터 필터링하는 4가지 방법들어가며데이터베이스에서 날짜 데이터를 기준으로 필터링할 때, 쿼리문을 효율적으로 작성하지 않으면 조회 시간이 매우 늘어납니다. 이 글에서는 Oracle SQL로 날짜 데이터를 필터링하는 4가지 방법을 소개합니다.이 글에서 활용할 예제 데이터는 다음과 같이 OCR_TM이라는 DATE 형식이 포함된 데이터입니다. OCR_TM을 기준으로 1일 치 데이터를 필터링하는 4가지 방법을 소개합니다.SOL 1 - TRUNC, TO_DATESOL 2 - TO_CHARSOL 3 - BETWEEN, TO_DATESOL 4 - 부등호, TO_DATESOL 1 - TRUNC, TO_DATE첫 번째 방법은 TRUNC와 TO_DATE를 활용하는 방법입니다. OCR_TM은 연..

'논문 일기'시리즈는 본격적으로 논문을 작성하기 시작한 5학기에 겪었던 주제를 선택하는 방법부터 최종적으로 논문을 제출하기까지의 과정을 다시 돌아보며 글로 남기고, 이제 애증이 깃든 논문을 떠나보내려 한다. 이 글이 대학원을 준비하고 있거나 이미 석사 과정을 밟고 있는 분들께 조금이라도 도움이 되길 바란다.논문 일기 1편 - 주제 선정들어가며  '주제 탐색' 과정에서 논문의 방향을 설정했다면, 본격적으로 뚜렷한 그림을 그릴 단계이다. 논문은 투고 직전에 주제를 변경하는 사례도 있으므로 여러 경우의 수를 열어놓는 것이 좋다. 내 논문의 경우 주제를 탐색하고 원래 '고속도로 속도 예측'을 주제로 설정했으나 기존 연구들과의 차별성 부분에서 부족하다는 생각이 들어 '고속도로에서 발생하는 Event 예측'으로 주..