# DS **Repository Path**: qt-open-source-collection/DS ## Basic Information - **Project Name**: DS - **Description**: 一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少必须掌握一门编程语言降低到只要会操作电脑即可。 - **Primary Language**: C++ - **License**: MIT - **Default Branch**: master - **Homepage**: https://space.bilibili.com/487906612 - **GVP Project**: No ## Statistics - **Stars**: 2 - **Forks**: 139 - **Created**: 2024-02-18 - **Last Updated**: 2024-11-29 ## Categories & Tags **Categories**: Uncategorized **Tags**: None ## README # 大家好，注意，请注意 * commit的日志莫名其妙被平台修改，学习源码的朋友，到github看吧 * 软件github开源地址：https://github.com/any12345com/DS # DS * 作者：北小菜 * QQ：1402990689 * 邮箱：bilibili_bxc@126.com * 作者主页：http://www.any12345.com/user/4 * 作者哔哩哔哩主页：https://space.bilibili.com/487906612 * 作者头条主页：https://www.ixigua.com/home/4171970536803763 * 软件gitee开源地址：https://gitee.com/Vanishi/DS * 软件github开源地址：https://github.com/any12345com/DS * 历史版本介绍请看文件：version.json ### 软件介绍 - 这是一个Qt开发的可以替代爬虫的网页数据采集软件，它最重要的特点就是，降低了采集网页数据的门槛，由至少掌握一门编程语言降低到只要会操作电脑即可。 ### 软件的使用教程 * [头条视频-开源一个Qt开发的可以替代爬虫的网页数据采集软件](https://www.ixigua.com/7251409919918899764) * [头条视频-兼容Qt6.4.3，Chromium内核升级至最新，预计性能提升20%](https://www.ixigua.com/7251410733408191032?id=7251778324991738429) * [头条视频-【网页数据采集工具DS】1分钟实现循环翻页采集招聘数据](https://www.ixigua.com/7251410733408191032?id=7252343778143535628) * [头条视频-【网页数据采集工具DS】1分钟实现列表页循环跳详情页采集商品](https://www.ixigua.com/7251410733408191032?id=7254895583918457381) * [头条视频-【网页数据采集工具DS】1分钟实现下拉刷新采集榜单数据](https://www.ixigua.com/7251410733408191032?id=7254897905675600439) * [哔哩哔哩视频-开源一个Qt开发的可以替代爬虫的网页数据采集软件](https://www.bilibili.com/video/BV1uM4y167bg) ### 关于DS - DS名称出自于Data Spider 英文缩写，我几年前写过一个类似的工具软件，但当时受限于个人水平，那个软件在逻辑上存在许多难以在逾越的bug，所以一直都搁置了。 直到几个月前，我决定重新完善一下，因为那个软件虽然存在很多bug，但思路非常好，搁置着太可惜，之后我重新复习了一下Qt，又经历挺长一段时间，终于在最近完成一个可用的版本。 软件主界面.png ### 软件开发环境（兼容Qt6） * 以下是作者经常编译的版本 * C++11 * QtCreator9.0.2 + Qt5.14.2 + VS2019 * QtCreator9.0.2 + Qt5.15.2 + VS2019 * QtCreator9.0.2 + Qt6.4.3 + VS2019 * 推荐使用Qt6.x进行开发 ### 安装开发环境需要注意的几点 - 这个软件内嵌了一个谷歌浏览器，是基于Qt自带的QWebView控件实现的， Qt中只有MSVC系列的编译器才能使用这个控件，MinGW的编译器是不可以使用的， 所以大家想要运行这个软件，一定要确保自己的电脑安装了MSVC系列的编译器。 - 如何安装MSVC系列的编译器？ * 在安装Qt之前，首先安装Visual Studio，这样在安装Qt时才能够勾选MSVC， 并正常安装。 - Qt版本和MSVC系列编译器版本的对应关系 * 关于这个版本对应关系， 我并没有在官网找到相关描述，我所了解的几个版本关系如下： * Qt5.14.2 支持 VS2019 和 VS2017 * Qt5.15.2 支持 VS2019 * Qt6.4.3 支持 VS2019 - 强烈建议大家先安装VS再安装Qt，如果先安装Qt再安装VS，需要手动配置编译器，很麻烦。 - 希望大家能够尝试使用Qt6，因为这个软件的核心就是自动化控制内置的谷歌浏览器， 而最新版的Qt环境，内置的谷歌浏览器内核是最新的，性能也会比Qt5.15.2好很多。 ### 一直以来我开发这个软件的初衷 - 当今时代，无处不存在对数据获取的需求。对于企业来说， 可以通过招聘开发人员专门进行数据采集。 但对于大部分 需要数据，但不懂开发的个人来说，获取数据则是困难的， 很显然，他们是不可能通过编程开发进而获取数据的。 - 编写报告, 撰写论文，从事分析相关的研究人员，政府公务人员，销售人员，运营人员， 学生等，在日常工作生活都有面临采集网页数据的需求。 但很多时候，大部分人仅仅是需要一批网页数据，通过分析得出一些结论。 但是由于获取数据的成本较高，还需要额外学编程语言开发采集， 这对于他们来说是极其痛苦的，因为不能把有限的时间放在最有价值的事情上。 - 虽然开发程序采集数据，这对于开发人员来说，是比较简单的， 但是对于一个不懂编程的人，这是困难的， 而且即使是开发人员，可能也不愿意编写程序采集数据，因为太浪费时间。 ### 对DS的展望和计划 - 希望DS能够成为一款类似于office，WPS 一样的一个办公必备软件，每一位有需要的职场人员，都可以使用DS进行采集数据，来应对日常工作 - DS将永久开源，所有功能永久免费，我会保持更新，也希望有兴趣的开发者能够一起完善，并希望大家多提意见或建议， ### 软件声明 - 本产品只是采集数据的工具,我们不对数据版权负责。我们尊重版权,您必须在采集之前联系数据所有者取得授权, 任何因数据授权产生的问题由使用者负生部责任,另外对于数据的使用请严格遭守《国家网络安全法》, 使用本软件即代表悠同意此声明 ### 授权协议 - 本项目自有代码使用宽松的MIT协议，在保留版权信息的情况下可以自由应用于各自商用、非商业的项目。 但是本项目也零碎的使用了一些其他的第三方库，包括使用了Qt， 由于使用本项目而产生的商业纠纷或侵权行为一概与本项目及开发者无关，请自行承担法律风险。 在使用本项目代码时，也应该在授权协议中同时表明本项目依赖的第三方库的协议，以及遵循相应的规定。