데이터 사이언스로 한걸음

opendataloader-pdf를 활용한 PDF 변환: txt, json, html, markdown들어가며한컴에서 PDF를 TXT, JSON, HTML, 마크다운 Markdown 형태로 변환할 수 있는 기술을 오픈소스로 공개했습니다. 다양한 형태로 변환 가능하고, 빠르고 가볍다는 장점으로 RAG, 벡터 검색 등 AI 기술에 매우 유용하게 활용할 수 있습니다. 이 글에서는 opendataloader-pdf를 활용하여 PDF를 TXT, JSON, HTML, 마크다운 Markdown 형식으로 변환하는 방법을 소개합니다. opendataloader-pdf에 대한 더 자세한 정보는 아래 링크를 참고해 주세요:) OpenDataLoaderPDF Data loader for AI/ML datasets. Easi..

MongoDB JSON 데이터 import 및 기본 쿼리 - pymongo들어가며pymongo는 MongoDB 데이터베이스를 다룰 수 있는 파이썬 패키지입니다. 이 글에서는 파이썬과 pymongo 라이브러리를 활용하여 MongoDB 데이터베이스에 JSON 데이터를 import하고, 다양한 쿼리를 활용하여 데이터를 조회하는 방법을 소개합니다.JSON 데이터 import파이썬을 활용한 MongoDB 데이터 조회전체 데이터 조회데이터 개수 제한 조회데이터 정렬 조회단일 조건 데이터 조회복합 조건 데이터 조회단일 데이터 조회정규표현식을 활용한 데이터 조회JSON 데이터 importJSON 데이터를 MongoDB에 import하는 방법은 다음과 같습니다. 먼저, MongoDB 와 JSON 데이터를 위한 패키지를 ..

MongoDB Compass 설치 및 활용 방법 - JSON import, 쿼리들어가며MongoDB Compass는 MongoDB의 공식 GUI 도구로, 데이터베이스를 시각적으로 관리하고 쿼리를 직관적으로 작성할 수 있는 툴입니다. JSON 형태의 데이터로 DB를 구축하고, 쿼리로 데이터를 조회하여 개발 효율성을 높일 수 있습니다.이 글에서는 MongoDB Compass 설치 방법부터 MongoDB Compass를 활용하여 JSON 데이터를 import하고, 간단한 쿼리로 데이터를 조회하는 방법을 소개합니다. MongoDB 용어 정리MongoDB에서 자주 사용되는 주요 용어들은 다음과 같습니다.구분설명 Connection - MongoDB 서버에 접속하는 연결 Database - 관계형 DB의 데이터베..

JSON 데이터 개념 정리 - RDS 차이점, 예제들어가며JSON은 웹 개발에서 많이 사용되는 데이터 형식 중 하나입니다. MongoDB와 같은 NoSQL 데이터베이스에서는 JSON 형태로 데이터를 저장하고 관리합니다. 이 글에서는 JSON 형식의 개념과 RDS와의 차이점, 그리고 실제 예제 데이터를 소개합니다.JSON이란?JSON과 RDS의 차이점JSON 예제 데이터JSON이란?JSON은 JavaScript Object Notation의 약자로 사람이 읽기 쉽고 기계가 파싱하기 쉬운 형태로 설계된 형식입니다. 주요 특징은 다음과 같습니다. 텍스트 기반: 순수 텍스트 형식으로 구성되어 플랫폼에 독립적입니다.경량: XML에 비해 더 적은 용량을 차지합니다.구조화: 중첩된 객체와 배열을 통해 복잡한 데이..

OpenWeather API 활용 방법 - 실시간 날씨 데이터 수집들어가며OpenWeather는 다양한 날씨 데이터를 제공하는 플랫폼입니다. 실시간 날씨 정보, 예보 등의 데이터를 수집하고 활용할 수 있습니다. 다양한 요금제가 있지만, 현재 날씨 데이터, 5일 동안의 날씨 예보, 과거 날씨 데이터 등 무료로 사용할 수 있는 데이터가 충분히 있습니다. 이 글에서는 현재 날씨 데이터를 파이썬으로 수집하는 방법을 소개합니다.OpenWeather 회원가입무료/유료 요금제 구독실시간 날씨 데이터 수집OpenWeather 회원가입먼저 회원가입을 진행합니다. Username, 이메일, 비밀번호만 입력하면 회원가입은 완료입니다. 회원가입 진행 후, 입력한 이메일에 수신된 '이메일 인증'을 꼭 진행해야 합니다.무료/유료..