데이터분석/Web Crawler (2) 썸네일형 리스트형 (Crawler) 다이닝코드 웹 페이지 가져오기 이번 포스트에서는 빅데이터로 맛집 검색을 도와주는 다이닝코드에서 특정 지역의 상위 랭킹 10개의 맛집과 어떤 종류의 음식을 파는지 크롤링해보겠습니다. 환경 : jupyter notebook다이닝코드 웹 페이지 분석크롤링을 하기 전에 가져올 웹 페이지의 url과 구조를 알아야합니다.그래서 다이닝코드 홈페이지에 접속해서 개발자도구로 가져올 페이지 구조를 분석합니다. 1. 다이닝코드 홈페이지에 접속해서 원하는 지역을 입력합니다.2. 좀더 많은 맛집을 위해 우측 하단 더보기를 클릭합니다. 더보기를 눌렀을때 나오는 화면입니다.여기서 requests를 할 url을 알게 되었고 'query=' 가 제가 검색한 '강남'이란 것을 알게 되었습니다.하지만 여기서 저는 맛집 이름과 음식 종류를 얻어 올것이기 때문에 개발자 .. (Crawler) selenium으로 이미지 크롤링 Selenium을 사용하여 Google 이미지에서 사람(person) 이미지를 가져오는 crawler를 만들어 보겠습니다.crawler는 python3를 사용하여 제작했습니다. 소스코드 대한 정보는 아래 블로그를 참조했습니다.https://jeongmin-lee.tistory.com/4?category=765520 이번 포스트에서 소개하는 내용은 아래와 같습니다.Selenium 이란?Window에서 이미지 크롤링하기Ubuntu(Linux)에서 이미지 크롤링하기1. Selenium 이란?Selenium은 웹 응용 프로그램을 테스트 하기 위한 프레임 워크이다.다양한 브라우저(Chrome, Firefox 등), 다양한 언어(Java, Python, PHP 등)를 지원한다.(브라우저를 자동화하는 오픈소스 프레임.. 이전 1 다음
