데이터 사이언스로 한걸음

Daum 뉴스 기사 본문 크롤링 - BeautifulSoup들어가며Daum(다음) 뉴스는 HTML 크롤링이 가능하고, BeautifulSoup을 사용하여 본문 텍스트를 추출할 수 있습니다. 이 글에서는 파이썬으로 뉴스 기사 제목과 기사 본문을 크롤링하는 방법을 소개합니다.Daum 다음 뉴스 크롤링Daum 다음 뉴스 URL 구조Daum 뉴스는 다음과 같이 URL 패턴을 갖고 있습니다. URL 설정크롤링에 필요한 패키지를 import 하고, url 변수에 크롤링할 뉴스 기사의 주소를 저장합니다.import requestsfrom bs4 import BeautifulSoupurl = 'https://v.daum.net/v/20250327161803473'HTTP 요청requests.get() 함수를 사용해 u..

특정 키워드 네이버 뉴스 크롤링 - BeautifulSoup들어가며비트코인 자동 매매 프로그램을 만들기 전에 '비트코인'에 대한 뉴스를 크롤링해서 텍스트 분석을 먼저 진행하기로 했습니다. 우선, '비트코인'을 키워드로 네이버 뉴스 제목을 추출하는 방법을 소개합니다.키워드, URL 설정웹 페이지 요청뉴스 제목 데이터프레임 생성키워드, URL 설정먼저 필요한 패키지인 requests와BeautifulSoup를  import합니다.import requestsfrom bs4 import BeautifulSoup검색할 키워드는 '비트코인'으로 설정했습니다. 네이버 뉴스 url은 형식이 잘 갖춰져있어 크롤링하기 매우 편리합니다.keyword = '비트코인'url = f'https://search.naver.com/..

데이터 건수, 평균, 최대/최소값 집계 - 판다스 groupbypandas groupbyjobs_in_data 데이터 소개건수 집계평균 집계2개 이상의 함수 집계pandas groupby데이터 분석을 진행하기 전에, EDA에서 전체 데이터의 분포를 알기 위한 첫 번째 단계는 '데이터 집계'입니다. 집계를 통해 본격적인 분석에 앞서 데이터의 건수는 얼마나 되는지, 통계값으로 분포는 어떻게 되는지를 확인할 수 있습니다. 개략적인 분석이지만, 심화 분석의 방향을 설정하는 데 도움을 줄 수 있습니다. 집계를 하기 위한 여러 방법 중 자주 쓰이는 Pandas의 groupby에 대해 설명합니다.jobs_in_data 데이터 소개 이 글에서 활용할 데이터는 캐글 데이터셋 중 Jobs and Salaries in Da..

AttributeError: 'NoneType' object has no attribute 'append'에러노트: 제가 직접 겪었던 에러와 해결 방법에 대해 소개합니다.에러리스트에 요소를 추가하기 위해 append를 사용했는데, 다음과 같은 에러가 발생했다. 아래 코드는 실제 데이터가 아닌 sample이라는 리스트를 임의로 생성하여 작성하였다. 1부터 10까지의 숫자가 들어있는 리스트에 11과 12를 추가하여 sample 변수에 할당했더니 에러가 발생했다.AttributeError: 'NoneType' object has no attribute 'append'sample = [1,2,3,4,5,6,7,8,9,10]sample = sample.append(11)sample = sample.append(1..