此爬虫用python开发,基于gevent、pymongo、requests、lxml、Flask。
流程也相对较简单:
配置需要爬取的URL;
配置需要解析的信息元素,用XPATH完成;
配置代理;
配置监控周期、最大页数、并发数等;
运行爬虫,等待抓取,会自动根据配置定时爬取;
启动web服务,在前台搜索、排序等;
豆瓣租房小组爬虫是一款采集豆瓣租房小组信息的工具,能够帮助中介或者找房源的用户快速找到适合自己的房源,可以甄别筛选,能够自定义筛选条件,有需要的用户不要错过了,欢迎下载使用!