크롤러(Crawler)란?

출처:https://www.writopedia.org/blog/web-crawlers-work/

 크롤러는 WWW(World Wide Web)인 인터넷 속을 알고리즘에 의해 움직이며 데이터를 수집하는 프로그램입니다. 페이지를 돌아다니는 행위를 크롤링, 특정 페이지의 데이터를 수집하는 행위는 스크래핑이라고 합니다. 이 둘을 합쳐 통상적으로 크롤러가 크롤링한다고 표현합니다.

 대표적인 예시로 검색 엔진이 있습니다. 검색 엔진은 크롤러를 통해 다양한 페이지를 수집 후 검색 키워드에 맞추어 사용자에게 제공하는 서비스입니다.

 

출처

파이썬으로 배우는 웹 크롤러

https://www.writopedia.org/blog/web-crawlers-work/