新一代爬虫平台,以图形化方式定义爬虫流程,不写代码即可完成爬虫。
扒网站工具,看好哪个网站,指定好URL,自动扒下来做成模版。所见网站,皆可为我所用!
专门用来解决爬虫采集相关网站数据时模拟自动登录,验证码自动识别的问题;欢迎加入一起开发完善。
一个分布式爬虫框架。一行代码开发一个分布式爬虫,拥有"多线程、异步、IP动态代理、分布式、JS渲染"等特性;
音乐歌单目录导出软件,网易云等各大音乐平台由于版权问题,间歇性的会让一些收藏的音乐无法播放,所以做了这个小软件,把常见的音乐网站的个人收藏的歌单导出备份,目前实现导出网易云音乐个人收藏的歌单,后面再不断兼容其他音乐网站的歌单导出功能吧。 后续计划: 1.模拟登陆直接导出,无需下载静态页面导出; 2.跨音乐网站,把本地歌单文件导入其他音乐网站;
A configurable web spider with a easy-to-use WebUI interface
这是一个使用JAVA语言开发的应用级的分布式爬虫搜索引擎机器人