본문 바로가기
728x90
반응형
SMALL

웹크롤링2

python BeautifulSoup 이용 웹 크롤링 2탄 태그와 클래스로 데이터 가져오기 지난번에는 파이썬에서 웹 크롤링 하기 위해 셋팅을 하고, 제목을 가져오는 방법을 정리해보았습니다. 그래서 오늘은 파이썬에서 웹크롤링하기 2탄으로 태그와 클래스 값을 이용하여 데이터를 가져오는 방법을 정리해보도록 하겠습니다. 저는 지난번처럼 daum 사이트를 이용하여 웹 크롤링 실습일 진행해 보도록 하겠습니다. 브라우저는 크롬을 기준으로 진행하였습니다. 위처럼 기사 부분이 있습니다. 이런 기사 부분의 데이터를 가져오는 것을 목표로 해서 오늘 정리를 해보도록 하겠습니다. 우선, 기사를 가져오기 위해서는 태그와 클래스 값 등을 확인해야 합니다. 그래서 저는 F12를 눌러 개발자도구를 열었습니다. 개발자도구에서는 원하는 위치의 html이 무엇인지 찾는 것이 있습니다. 개발자도구 맨 왼쪽 위에 보시면 마우스포인터.. 2020. 11. 17.
Python에서 BeautifulSoup 이용 웹크롤링하기 1탄 제목 가져오기 저는 당분간 파이썬에서 웹크롤링(Web Crawling) 하는 방법을 공부하면서 정리하면서 진행해보려고 합니다. 공부를 하면서 정리를 하면서 진행하는 것이라서 틀릴 수도 있으니 이 부분은 참고 부탁드립니다. 오늘은 python에서 웹 크롤링을 하기 위해서 설정하는 방법과 제목을 가져오기 까지 해보려고 합니다. 그 전에 우선 웹 클롤링이 무엇인지부터 정리를 하고 방법과 그런 것들을 진행해보도록 하겠습니다. 1. 웹 클롤링이란? 저도 공부를 하면서 진행하는 것이기 때문에 틀릴 수는 있습니다. 아무튼 제가 이해한 범위로 쉽게 설명을 해보도록 하겠습니다. 웹 사이트에는 이미지, 텍스트, 링크 등 많은 것들이 있습니다. 이를 자동으로 수집할 수 있습니다. 이것을 웹 크롤러(Web Crawler)라고 합니다. 그리.. 2020. 11. 11.
728x90
반응형
LIST