爬虫兼职靠谱不，虫友们，迷茫中

不知名的鱼 · 发表于 2022-6-5 01:46:06

最近公司业务少的很，时间比较多，想学些东西赚赚外快零花钱，被安利学爬虫做兼职。本能的对教育培训机构有防范心理，没尽信他们的话。想问问有虫友了解不？或者推荐些在家兼职的路子

天奇同学 · 发表于 2022-6-10 11:14:06

凶猛肥宅发表于 2022-6-7 19:47
爬虫做得好，牢饭吃到饱。

放心吧，问出这个问题的人基本上学的都不好。

天奇同学 · 发表于 2022-6-12 19:04:23

不知名的鱼发表于 2022-6-12 00:07
那反过来说，爬虫兼职零花钱其实不太靠谱，至少不是那么容易的事儿。简单的单子金额很少，大单子意味着风 ...

不过其实你可以放心学，因为要想达到犯罪级别的能力也不是那么容易的。
要想让服务器瘫痪你就要用很多台电脑用多线程异步请求，而且现在防爬技术也越来越完善，除了裸奔的数据我见过简单点的就是对称加密，还有md5生成动态密钥的，还有动态请求头的。实话说，研究一个动态加密的网站不仅要懂爬虫还要懂前端，还要细心查看js代码，搞不好你要半个月才能搞明白密钥生成规则。

而今听雨清月下 · 发表于 2022-6-6 08:51:31

插眼，我也想学爬虫.

天奇同学 · 发表于 2022-6-10 11:19:03

不知名的鱼发表于 2022-6-7 20:19
所有数据都不能爬取吗？

公开的数据是可以爬取的，正规一些的网站都有个robots文件告诉你什么是允许爬取的，比如新浪https://weibo.com/robots.txt
爬虫只要不把服务器搞瘫痪一般没人抓你，但是如果哪天心血来朝捏个软柿子要找你就是分分钟的事儿。

凶猛肥宅 · 发表于 2022-6-7 19:47:15

爬虫做得好，牢饭吃到饱。

不知名的鱼 · 发表于 2022-6-5 23:51:58

有了解的吗

不知名的鱼 · 发表于 2022-6-7 19:03:46

而今听雨清月下发表于 2022-6-6 08:51
插眼，我也想学爬虫.

我也想学，就是不知道靠不靠谱

不知名的鱼 · 发表于 2022-6-7 20:19:24

凶猛肥宅发表于 2022-6-7 19:47
爬虫做得好，牢饭吃到饱。

所有数据都不能爬取吗？

不知名的鱼 · 发表于 2022-6-10 00:19:20

自顶上。没其他虫友给点建议吗？

不知名的鱼 · 发表于 2022-6-12 00:07:29

天奇同学发表于 2022-6-10 11:19
公开的数据是可以爬取的，正规一些的网站都有个robots文件告诉你什么是允许爬取的，比如新浪https://weib ...

那反过来说，爬虫兼职零花钱其实不太靠谱，至少不是那么容易的事儿。简单的单子金额很少，大单子意味着风险也高，要求的技术水平也高

辰鑫 · 发表于 2022-6-12 10:50:42

插眼

天奇同学 · 发表于 2022-6-12 18:48:30

不知名的鱼发表于 2022-6-12 00:07
那反过来说，爬虫兼职零花钱其实不太靠谱，至少不是那么容易的事儿。简单的单子金额很少，大单子意味着风 ...

你理解的非常对，就是这个意思。公开数据价值小，有价值的数据有风险。

不知名的鱼 · 发表于 2022-6-12 23:29:08

天奇同学发表于 2022-6-12 19:04
不过其实你可以放心学，因为要想达到犯罪级别的能力也不是那么容易的。
要想让服务器瘫痪你就要用很多台 ...

你说的没错，反爬技术也确实是不断在进步，我看到有个视频博主为了解密，研究了大半年。那么说，这个爬虫技术感觉比较鸡肋，可以了解，有白嫖视频可以学习下，但花好几千去报班感觉就不值当了。而且有什么八爪鱼，后羿等，能代替爬虫做一些数据采集。

host · 发表于 2022-6-14 10:32:57

太刑了，怕虫学的好，牢饭吃到老