【沙克芬】不用写代码的数据采集软件

如今采集数据的方法发展的已经比较成熟了，对于常用的网站和结构化的网站，可以使用数据采集软件进行数据采集。优点是不用写代码，基本不需要HTML知识，可视化操作，方便直观。缺点是不够灵活，但对于基本的需求已经够用了。

这里主要介绍中国公司开发的数据采集软件，其实都大同小异，我主要用过：后羿采集器 和 webscraper浏览器插件

这些软件大部分包含免费和付费功能。一般免费就够用。

有一个思路我认为是比较正确的，就是对于常用网站，前人已经写好了很多爬虫框架，拿来用就可以。比如 gooseeker集搜客 和 webscraper浏览器插件 的网站上，就有很多现成的写好的。

对于一些比较特殊的数据，比如高德地图上商家的数据，我还遇到过不同地图坐标系不一样还要转换的问题。还有很多反爬策略等等。这些相对困难一些 ，有专门的公司和专门的软件在做，不在这些“傻瓜”软件的使用范围之内。

1. 名称        网址        简介
   
2. 八爪鱼采集器        https://www.bazhuayu.com/       
   
3. 火车头采集器        http://www.locoy.com/       
   
4. 神采        http://www.sensite.cn/       
   
5. 探码Web大数据采集系统        http://www.tanmer.com/web-bigdata       
   
6. 后裔采集器        http://www.houyicaiji.com/       
   
7. 爬山虎采集器        http://www.51pashanhu.com/       
   
8. ForeSpider前嗅        http://forenose.com/download.html       
   
9. gooseeker集搜客        http://www.gooseeker.com/       
   
10. 发源地        http://www.finndy.com/       
    
11. 神箭手云爬虫        https://www.shenjian.io/       
    
12. 小草莓-全网采集助手        http://www.caomeixiao.com/       
    
13. WebMagic        http://webmagic.io/        一个简单灵活的Java爬虫框架
    
14. DenseSpider        https://studygolang.com/p/DenseSpider        Go语言实现的高性能爬虫
    
15. scrapinghub        https://www.scrapinghub.com/       
    
16. prasehub        https://www.parsehub.com/       
    
17. Octoparse        https://www.octoparse.com/        国外软件
    
18. webscraper浏览器插件        http://www.iwebscraper.com/       
    

复制代码

个人整理的一些网站，放到了“语雀”上面，欢迎大家访问！
https://www.yuque.com/alipayqgthu1irbf/sharkfin

好资源，感谢娄主分享

感谢分享~题主自己做的整合，很不错{:5_156:}{:5_156:}{:5_156:}

很不错的导航

谢谢分享{:5_145:}

Reproduce 发表于 2020-8-1 19:53
很不错的导航

嘿嘿！感谢支持！

明媚如你 发表于 2020-8-1 17:36
谢谢分享

{:5_153:}

谢分享{:5_145:}

qq306649257 发表于 2020-8-3 09:17
感谢分享~题主自己做的整合，很不错

感谢支持！我也建了个公众号：沙克芬 SharkFin
欢迎关注！

虚妄之相 发表于 2020-8-2 10:52
谢分享

感谢支持！我也建了个公众号：沙克芬 SharkFin
欢迎关注！

987 发表于 2020-8-4 15:56
好资源，感谢娄主分享

感谢支持！我也建了个公众号：沙克芬 SharkFin
欢迎关注！

我是人 发表于 2020-8-7 10:22
感谢支持！我也建了个公众号：沙克芬 SharkFin
欢迎关注！

已经关注了哟{:5_157:}

作者被禁止或删除 内容自动屏蔽

谢谢分享

{:5_158:}回复看看是什么

要回复才能看吗？

回复看了又能怎样

看不到？ 回复才能看吗？

看不到了

看不到了吗？

看不到了吗？

看不到了吗？

回复看看是什么

看不了了吗？

看不了了吗？

回复看看

看不了了吗？

还能看吗？

真看不到了

感谢分享