虫部落

【沙克芬】不用写代码的数据采集软件

查看: 2297|回复: 44
我是人 发表于 2020-8-1 16:19:54 |阅读模式
如今采集数据的方法发展的已经比较成熟了,对于常用的网站和结构化的网站,可以使用数据采集软件进行数据采集。优点是不用写代码,基本不需要HTML知识,可视化操作,方便直观。缺点是不够灵活,但对于基本的需求已经够用了。

这里主要介绍中国公司开发的数据采集软件,其实都大同小异,我主要用过:后羿采集器 和 webscraper浏览器插件

这些软件大部分包含免费和付费功能。一般免费就够用。

有一个思路我认为是比较正确的,就是对于常用网站,前人已经写好了很多爬虫框架,拿来用就可以。比如 gooseeker集搜客 和 webscraper浏览器插件 的网站上,就有很多现成的写好的。

对于一些比较特殊的数据,比如高德地图上商家的数据,我还遇到过不同地图坐标系不一样还要转换的问题。还有很多反爬策略等等。这些相对困难一些 ,有专门的公司和专门的软件在做,不在这些“傻瓜”软件的使用范围之内。


  1. 名称        网址        简介
  2. 八爪鱼采集器        https://www.bazhuayu.com/       
  3. 火车头采集器        http://www.locoy.com/       
  4. 神采        http://www.sensite.cn/       
  5. 探码Web大数据采集系统        http://www.tanmer.com/web-bigdata       
  6. 后裔采集器        http://www.houyicaiji.com/       
  7. 爬山虎采集器        http://www.51pashanhu.com/       
  8. ForeSpider前嗅        http://forenose.com/download.html       
  9. gooseeker集搜客        http://www.gooseeker.com/       
  10. 发源地        http://www.finndy.com/       
  11. 神箭手云爬虫        https://www.shenjian.io/       
  12. 小草莓-全网采集助手        http://www.caomeixiao.com/       
  13. WebMagic        http://webmagic.io/        一个简单灵活的Java爬虫框架
  14. DenseSpider        https://studygolang.com/p/DenseSpider        Go语言实现的高性能爬虫
  15. scrapinghub        https://www.scrapinghub.com/       
  16. prasehub        https://www.parsehub.com/       
  17. Octoparse        https://www.octoparse.com/        国外软件
  18. webscraper浏览器插件        http://www.iwebscraper.com/       
复制代码


个人整理的一些网站,放到了“语雀”上面,欢迎大家访问!
https://www.yuque.com/alipayqgthu1irbf/sharkfin
qq306649257 发表于 2020-8-3 09:17:28
感谢分享~题主自己做的整合,很不错
987 发表于 2020-8-4 15:56:38
好资源,感谢娄主分享
Reproduce 发表于 2020-8-1 19:53:02
很不错的导航
明媚如你 发表于 2020-8-1 17:36:39
谢谢分享
 楼主| 我是人 发表于 2020-8-1 20:25:47

嘿嘿!感谢支持!
 楼主| 我是人 发表于 2020-8-1 20:25:55
虚妄之相 发表于 2020-8-2 10:52:07
谢分享
 楼主| 我是人 发表于 2020-8-7 10:22:27
qq306649257 发表于 2020-8-3 09:17
感谢分享~题主自己做的整合,很不错

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
 楼主| 我是人 发表于 2020-8-7 10:22:42

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
 楼主| 我是人 发表于 2020-8-7 10:22:51
987 发表于 2020-8-4 15:56
好资源,感谢娄主分享

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
qq306649257 发表于 2020-8-8 08:52:46
我是人 发表于 2020-8-7 10:22
感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!

已经关注了哟
赞助商作品
阿里云 更新于 2019年3月1日 23:33 来自 iPhone 11 Pro Max
国内云服务扛把子,阿里云白嫖价,上车不宜迟!

与寄生于公众号、知乎等平台不同,当你拥有一个自己的云服务器,就可以尽情折腾!练练刚学了不久的编程技术,把你的小创意呈现在线上的网站,是一件很有成就感的事情。当然云服务器的应用场景还远不止如此...

leozt 发表于 2020-8-8 17:46:47
作者被禁止或删除 内容自动屏蔽
kogepan 发表于 7 天前
谢谢分享
罗小锣 发表于 6 天前
回复看看是什么
牧童 发表于 6 天前
要回复才能看吗?
无敌搜索大王 发表于 6 天前
回复看了又能怎样
琥珀川千寻 发表于 6 天前
看不到? 回复才能看吗?
zxp3468 发表于 6 天前
看不到了
rabbwac 发表于 6 天前
看不到了吗?
午夜阳光 发表于 5 天前

看不到了吗?
拾。日 发表于 5 天前
看不到了吗?
钢制汤勺 发表于 5 天前

回复看看是什么
stilldi 发表于 5 天前
看不了了吗?
社会主义接班人 发表于 5 天前
看不了了吗?
matrix 发表于 5 天前
回复看看
卜问之 发表于 5 天前
看不了了吗?
凹凸情感随笔 发表于 4 天前
还能看吗?
Anzer 发表于 4 天前
真看不到了
liansir 发表于 4 天前
感谢分享
我真的晕3D 发表于 3 天前

很不错的导航
muat 发表于 3 天前
康康还有不
t573917129 发表于 3 天前
谢谢 您的分享 ,笔芯
小、坏蛋 发表于 3 天前
看看还有没
我靠我去 发表于 前天 11:38
谢谢分享
kam3025 发表于 前天 12:21
感谢楼主
我的名字叫做安 发表于 前天 14:10
谢谢分享
数标轴 发表于 前天 14:58
什么东西?
徐大力 发表于 前天 15:32
我没看到
 楼主| 我是人 发表于 昨天 11:21

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 昨天 11:21

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 昨天 11:21

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 昨天 11:22

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 昨天 11:22
琥珀川千寻 发表于 2020-8-10 16:34
看不到? 回复才能看吗?

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
 楼主| 我是人 发表于 昨天 11:22

不好意思,之前被禁言了,这回应该能看到了。感谢支持!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表