데이터 수집하기 좋은 상위 10 무료 크롤링 도구
오늘 제일 많이 사용되는 국내외 웹 크롤러 탑 10을 소개할까 하는데요. 웹 크롤링 도구는 홈페이지에서 유효한 정보를 추출하기 위해 개발된 프로그램으로 웹사이트에서 특정 데이터를 수집하려는 사람들이 주로 사용하는 도구입니다. 특히 오늘 소개할 크롤링 도구 중에 코드 기술이 필요 없는 도구도 있으니까 주의 깊게 봐주세요. (소개 순서랑 순위는 무관)
1. ScrapeStorm
AI-Powered Web Scraping Tool & Web Data Extractor | ScrapeStorm
AI-Powered Visual Web Scraping Tool Built by ex-Google crawler team. No Programming Needed. Visual Operation. Easy to Use. Intelligent identification of data, no manual operation required Smart Mode: Based on artificial intelligence algorithms, ScrapeStorm
www.scrapestorm.com
특점:
①windows/mac/linux 지원
②수천 개의 웹 페이지를 한 번에 등록하고 한 장의 엑셀 시트에 모두 담아낼 수 있음
③사진, 동영상의 수집이 가능하며 동시에 다운로드도 가능
④상세 페이지의 데이터까지 수집 가능하고 웹 페이지 인식 기능이 있어 원하는 만큼 데이터를 수집할 수 있음
⑤Excel、Txt、Csv、Html 파일로 통합 가능
단점:
①무료 버저는 스케쥴러 기능이 없음
②페이지 방문 시 IP 주소 변경 불가
가격: 무료판; 6만/매달
사용 난이도: 낮음, 코드 기술 필요 없음
2. Octoparse
Web Scraping Tool & Free Web Crawlers | Octoparse
www.octoparse.com
특점:
①코드 작성이 필요 없는 시각화 작업
②시간을 설정하여 일정한 주기로 자동 수집
③외부 서비스 또는 외부 데이터베이스와 통합 가능
④클라우드 서비스 제공
단점:
①한 번에 많은 웹 페이지 수집 시 작동 시 시간이 많이 필요함
②추출 수량이 한정적임
가격: 무료판; 11만/매달
사용 난이도: 낮음, 코드 기술 필요 없음
3. Pashanhu
爬山虎采集器 - 简单易用的网页数据采集工具_免费网页爬虫软件
爬山虎采集器 一款简单易用的网页数据采集工具，可以智能识别网页数据 采集快速高效，99% 网站都可以采集 免费下载 点击咨询
www.51pashanhu.com
특점:
①조작 방식이 간단한 시각화 작업
②사이트 수집 템플릿이 있어 원 클릭으로 데이터를 불러올 수올수 있음
③대량 페이지 자동 인식
단점:
①추출 수량이 한정적
②외부 데이터베이스와 통합 불가능
③txt 파일로만
가격: 무료판; 9만/매달
사용 난이도: 낮음, 코드 기술 필요 없음
4. Gooseeker
免费网络爬虫软件,网页抓取工具,抓取微博网页,中文分词,情感分析-集搜客GooSeeker
大数据， 玩得起吗？ 与各种大企业相比，大数据对于没有数据资源的个体而言是奢侈品。 然而在“互联网思维”、“互联网+”引领下，我们正在勇于实践和颠覆传统，将数据平民化。 集搜客
www.gooseeker.com
특점:
①브라우저 확장 프로그램
②금액을 지불한 회원들은 서로 추출을 도울 수 있는 프로그램이 있음
③대량의 사이트 수집 템플릿이 있음
단점:
① 수집한 데이터를 클라우드에 저장 불가
②무료 버전의 기능이 적음
가격: 무료판; 7만/매달
사용 난이도: 높음, 간단한 코드 지식이 있는 분에게 적합
5. Hashscraper
해시스크래퍼 - 매니지드 웹크롤링 서비스
빅데이터를 빠르고 정확하게 크롤링하고 데이터를 분석하여 제공하는 매니지드 웹크롤링(Crawling) 서비스입니다. 자연어처리(감정분석, 형태소분석) 뿐만 아니라 이미지 분석 기술도 사용할 수
www.hashscraper.com
특점:
①텍스트 분석, 형태소 분석과
②동적 웹 스크래핑 지원
③고화질 이미지 다운로드 가능
④얼굴, 테스트의
단점:
①1페이지에 최대 30 칼럼까지 수집, 초과 30 칼럼 당 단가 추가
②동영상 수집 및 다운로드 불가
③모든 기능이 유료
가격: 3만/매달
사용 난이도: 낮음, 코드 기술 필요 없음
6. APIFY
Web Scraping, Data Extraction and Automation · Apify
Apify is your one-stop shop for web scraping, data extraction, and RPA. Automate anything you can do manually in a browser.
apify.com
특점:
①windows/mac/linux 지원
②대량의 사이트 수집 템플릿이 있음
③클라우드 크롤링 프로그램 지원
단점:
①크롤링 방식이 복잡하여 코드 기술이 필요함
②무료판이 제공하는 기능이 적음
가격: 무료판; 6만/매달
사용 난이도: 높음, 간단한 코드 지식이 있는 분에게 적합
7. Mozenda
Home
Web scraping software - Billions Of Web Pages Scraped Since 2007. Compare Product & Service Options. 1/3 of fortune 500 companies trust Mozenda.
www.mozenda.com
특점:
①코드 기술이 필요 없는 간단한 수집 방식
②원하는 대로 코드 변경 가능
③추가 데이터 클리닝 도구 제공
단점:
소프트웨어 방문 수량 제한
가격: 무료판; 문의
사용 난이도: 낮음, 코드 기술 필요 없음
8.Web scraper
Web Scraper - The #1 web scraping extension
www.webscraper.io
특점:
①브라우저 확장프로그램
②수집 속도 빠름
단점:
①텍스트 형식의 데이터만 수집 가능
②동적 웹 사이트의 스크래핑이 불가능
③한 페이지만
가격: 무료판; 7만/매달
사용 난이도: 높음, 간단한 코드 지식이 있는 분에게 적합
9. Listly
리스틀리 | 단숨에 웹데이터 추출!
무료 크롬확장프로그램으로 모든 웹사이트에서 데이터 수집하세요. 단숨에 웹 데이터를 엑셀 파일로 변환합니다. 깨끗하게 정리된 데이터로 여러분의 비즈니스를 성장시켜 드립니다.
www.listly.io
특점:
①페이지 방문 시 IP주소 변경 가능
②브라우저 확장 프로그램으로서 필요할 때 즉시 사용 가능
③원하는 요일과 시간을 설정하면 시간에 맞춰 데이터를 자동으로 추출
단점:
①많은 기능은 유료로 제공됨
②동시에 여러 개의 웹 사이트 수집 불가
③많은 페이지를 크롤링할 경우 속도가 느려짐
가격: 무료판; 9만만/매달
사용 난이도: 낮음, 코드 기술 필요 없음
10. Parsehub
ParseHub | Free web scraping - The most powerful web scraper
www.parsehub.com
특점:
①브라우저 확장 프로그램
②금액을 지불한 회원들은 서로 추출을 도울 수 있는 프로그램이 있음
③대량의 사이트 수집 템플릿이 있음
단점:
① 수집한 데이터를 클라우드에 저장 불가
②무료 버전의 기능이 적음
가격: 무료판; 7만/매달
사용 난이도: 높음, 간단한 코드 지식이 있는 분에게 적합