干货 Tips Rules & Tips
1. 遵守中国大陆相关法律法规
2. 本版还在调整当中

【沙克芬】不用写代码的数据采集软件

查看: 10067|回复: 50
1
我是人 发表于 2020-8-1 16:19:54
如今采集数据的方法发展的已经比较成熟了,对于常用的网站和结构化的网站,可以使用数据采集软件进行数据采集。优点是不用写代码,基本不需要HTML知识,可视化操作,方便直观。缺点是不够灵活,但对于基本的需求已经够用了。

这里主要介绍中国公司开发的数据采集软件,其实都大同小异,我主要用过:后羿采集器 和 webscraper浏览器插件

这些软件大部分包含免费和付费功能。一般免费就够用。

有一个思路我认为是比较正确的,就是对于常用网站,前人已经写好了很多爬虫框架,拿来用就可以。比如 gooseeker集搜客 和 webscraper浏览器插件 的网站上,就有很多现成的写好的。

对于一些比较特殊的数据,比如高德地图上商家的数据,我还遇到过不同地图坐标系不一样还要转换的问题。还有很多反爬策略等等。这些相对困难一些 ,有专门的公司和专门的软件在做,不在这些“傻瓜”软件的使用范围之内。


  1. 名称        网址        简介
  2. 八爪鱼采集器        https://www.bazhuayu.com/       
  3. 火车头采集器        http://www.locoy.com/       
  4. 神采        http://www.sensite.cn/       
  5. 探码Web大数据采集系统        http://www.tanmer.com/web-bigdata       
  6. 后裔采集器        http://www.houyicaiji.com/       
  7. 爬山虎采集器        http://www.51pashanhu.com/       
  8. ForeSpider前嗅        http://forenose.com/download.html       
  9. gooseeker集搜客        http://www.gooseeker.com/       
  10. 发源地        http://www.finndy.com/       
  11. 神箭手云爬虫        https://www.shenjian.io/       
  12. 小草莓-全网采集助手        http://www.caomeixiao.com/       
  13. WebMagic        http://webmagic.io/        一个简单灵活的Java爬虫框架
  14. DenseSpider        https://studygolang.com/p/DenseSpider        Go语言实现的高性能爬虫
  15. scrapinghub        https://www.scrapinghub.com/       
  16. prasehub        https://www.parsehub.com/       
  17. Octoparse        https://www.octoparse.com/        国外软件
  18. webscraper浏览器插件        http://www.iwebscraper.com/       
复制代码


个人整理的一些网站,放到了“语雀”上面,欢迎大家访问!
https://www.yuque.com/alipayqgthu1irbf/sharkfin
qq306649257 发表于 2020-8-3 09:17:28
感谢分享~题主自己做的整合,很不错{:5_156:}{:5_156:}{:5_156:}
987 发表于 2020-8-4 15:56:38
好资源,感谢娄主分享
Reproduce 发表于 2020-8-1 19:53:02
很不错的导航
明媚如你 发表于 2020-8-1 17:36:39
谢谢分享{:5_145:}
 OP| 我是人 发表于 2020-8-1 20:25:47

嘿嘿!感谢支持!
 OP| 我是人 发表于 2020-8-1 20:25:55

{:5_153:}
虚妄之相 发表于 2020-8-2 10:52:07
谢分享{:5_145:}
 OP| 我是人 发表于 2020-8-7 10:22:27
qq306649257 发表于 2020-8-3 09:17
感谢分享~题主自己做的整合,很不错

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
 OP| 我是人 发表于 2020-8-7 10:22:42

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
 OP| 我是人 发表于 2020-8-7 10:22:51
987 发表于 2020-8-4 15:56
好资源,感谢娄主分享

感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!
qq306649257 发表于 2020-8-8 08:52:46
我是人 发表于 2020-8-7 10:22
感谢支持!我也建了个公众号:沙克芬 SharkFin
欢迎关注!

已经关注了哟{:5_157:}
leozt 发表于 2020-8-8 17:46:47
作者被禁止或删除 内容自动屏蔽
kogepan 发表于 2020-8-9 16:11:51
谢谢分享
罗小锣 发表于 2020-8-10 10:45:46
{:5_158:}回复看看是什么
牧童 发表于 2020-8-10 15:10:35
要回复才能看吗?
无敌搜索大王 发表于 2020-8-10 15:41:53
回复看了又能怎样
琥珀川千寻 发表于 2020-8-10 16:34:07
看不到? 回复才能看吗?
zxp3468 发表于 2020-8-10 16:40:27
看不到了
rabbwac 发表于 2020-8-10 23:25:03
看不到了吗?
午夜阳光 发表于 2020-8-11 07:56:17

看不到了吗?
拾。日 发表于 2020-8-11 08:39:53
看不到了吗?
钢制汤勺 发表于 2020-8-11 11:47:56

回复看看是什么
stilldi 发表于 2020-8-11 15:16:34
看不了了吗?
社会主义接班人 发表于 2020-8-11 17:14:11
看不了了吗?
matrix 发表于 2020-8-11 18:25:16
回复看看
卜问之 发表于 2020-8-11 19:51:21
看不了了吗?
凹凸情感随笔 发表于 2020-8-12 13:26:55
还能看吗?
Anzer 发表于 2020-8-12 16:42:34
真看不到了
liansir 发表于 2020-8-12 17:22:30
感谢分享
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

陕ICP备14001577号-1川公网安备 51019002003015号联系我们FAQ关于虫部落免责声明虫部落生存法则蛙先知 - 简中冲浪胜地

Build with for "make search easier" Copyright © 2013-2022. Powered by Discuz! GMT+8, 2022-12-3 17:16

快速回复 返回顶部 返回列表