解决方案 - 使用 Google Chrome 抓取资源

惶心 · 发表于 2017-11-11 20:28:16

【本文首发惶心 | 技术博客博客地址自己百度】

这是一篇小白文。本来不打算写的，毕竟自己觉得很简单。但是挺多人在问我，所以想着还是水一篇吧。

首先，你需要Google Chrome。请自行安装。

在某些时候，我们需要获取网页上的多媒体资源。比如视频、音频以及图片。

而正常一点的音视频网站都不会直接在网页端直接嵌入下载按钮，因为那样会增加服务器压力，也不利于推广，更不利于版权保护。

而图片，我们大多数情况下可以在图片上单击右键，选择复制图片或者保存。而在小部分情况下，网站刻意隐藏了这一部分，导致右键里面看不到保存的选项。
这些时候，我们就需要使用Google Chrome的开发人员工具（或称“审查元素”、“检查”），去实现获取资源的目标。

图片示例：Apple.com，iPhone 8 图片。

我们在图片上点击右键，但是发现并没有保存图片之类的选项。

最快也是最有效的方法是，在页面任意地方点击右键，然后选择“检查”或者“审查元素”。然后选择“Network”标签。

有的时候在“Element”标签里也能找到图片，但是不是所有的都可以（比如Apple的图片），而且对音视频不通用。

这个时候，勾选“Network”标签右上角的“Disable Cache（禁用缓存）”，然后刷新页面。

如果我们找的是图片，那么就切到img标签，然后在size那里排一下序...

然后我们很尴尬地发现原来图片里的iPhone 8 是由几张图片组成的...果然是苹果霸霸。不过我们还是能看到这个页面的其他图片。比如说iPhone 8 的合影。（下面的图片引用自https://images.apple.com）

通过这样也可以发现很多很有意思的事情。比如说https://image.apple.com 是一个苹果官网的镜像。

音频示例：网易云音乐

我们先随便找到一首歌的播放页。比如我现在在听的：山有木兮-橙光游戏《人鱼传说之长生烛》主题曲

先把Developer Tool 准备好，切到Network。（挖好陷阱等网易云来跳）

挖好陷阱以后，点击播放。然而我打完这行字以后按了播放，Network里面并没有出现什么东西。

所以我们刷新一下。然后切换到Media标签。

我也不知道为什么网易云加载了两个一模一样的音频文件，但是无论如何，我们是抓到了音乐的直链。在文件上双击，浏览器会自动打开文件。

点击一下下载即可把音乐文件下载下来。

这是完整的外链：http://m8.music.126.net/20171111185920/d95d1b83d5cf60a79db0bd23a6e2a3ee/ymusic/c7e7/b231/558e/1538daf5705622db129335e89902ee6b.mp3

视频示例：CCTV视频【国家领导人部落编辑器屏蔽了名字】：深入推进“一带一路”建设增添共同发展新动力
http://m.news.cctv.com/2017/11/10/ARTIuZAzRE2EcMbvgYB5GJ3u171110.shtml

同样的方法。直接上图。

一些小型视频网站，以及Youku的短视频，都可以用这种方法下载，基本一个抓一个准。

敲黑板，这是要点：

在资源载入之前打开Google Chrome 的开发人员工具，然后选择Network标签。想办法让资源加载，比如刷新页面，注意禁用缓存。
进入Network标签收资源。
大喊一句惶心最帅。

hanlu · 发表于 2018-3-21 10:47:54

以前抓歌曲直链可以这样，现在大多数网站都不能这么简单抓了，你例子里那个歌曲直链不是真的直链，只有当天有效，因为链接里包含日期，而且不止chorm可以这样，大多数浏览器都可以这样......

KokonoeRin · 发表于 2017-11-12 01:02:44

感谢。头像是啥？

燕九 · 发表于 2017-11-12 13:14:30

KokonoeRin 发表于 2017-11-12 01:02
感谢。头像是啥？

应该是wlop大大画的鬼刀{:5_158:}{:5_158:}{:5_158:}
http://www.u17.com/comic/68471.html?source=baidu

Tyropapa · 发表于 2017-11-12 14:23:22

惶心最帅{:5_146:}

iwen2001 · 发表于 2017-11-13 08:05:47

6有飞起

epsilo · 发表于 2017-11-13 12:39:15

惶心最帅:)

KokonoeRin · 发表于 2017-11-15 01:00:49

呃呃呃，怎么抓取到这个

https://imgsa.baidu.com/forum/w%3D580/sign=ae133d77bb389b5038ffe05ab534e5f1/a238fd1f4134970aa88c374697cad1c8a5865dc2.jpg?v=tbs

复制代码

的真实地址呢

惶心 · 发表于 2017-11-15 04:46:58

KokonoeRin 发表于 2017-11-15 01:00
呃呃呃，怎么抓取到这个

的真实地址呢

已经是真实地址了，这个不是视频，是JPG动图...（貌似是不太为人所知的黑科技

KokonoeRin · 发表于 2017-11-15 10:28:15

本帖最后由 KokonoeRin 于 2017-11-15 10:29 编辑

惶心发表于 2017-11-15 04:46
已经是真实地址了，这个不是视频，是JPG动图...（貌似是不太为人所知的黑科技
...

不不不，实际上是gif动图
后面的"?v=tbs"又是什么鬼？这个也是真实地址的一部分吗？

KokonoeRin · 发表于 2017-11-15 15:05:33

又比如说

https://thumbnail10.baidupcs.com/thumbnail/fef115ff57847630057c5f8f5e07c9b8?fid=1730791166-250528-1037537287362259&time=1510729200&rt=pr&sign=FDTAER-DCb740ccc5511e5e8fedcff06b081203-o1kFX3cXT04yFr5uxWI%2fAZAfYoI%3d&expires=8h&chkbd=0&chkv=0&dp-logid=7389832295594459059&dp-callid=0&size=c1440_u960&quality=90&vuk=1730791166&ft=image

复制代码

这是一张jpg，然而获取的地址根本就不是jpg啊

黑暗中的窥探者 · 发表于 2017-11-15 19:40:20

话说可以始终保持开启吗？

KokonoeRin · 发表于 2017-11-15 22:37:42

黑暗中的窥探者发表于 2017-11-15 19:40
话说可以始终保持开启吗？

可以，但是太费网络了啊

惶心 · 发表于 2017-11-16 22:30:16

KokonoeRin 发表于 2017-11-15 22:37
可以，但是太费网络了啊

不费网络...你哪来来的这个结论
不可以一直开着因为这是开发者工具非必要

挖了个酶 · 发表于 2017-11-17 20:19:32

我的是安装了IDM之后，打开有音频的网站就会直接跳出来是否下载

惶心 · 发表于 2017-11-20 04:51:17

挖了个酶发表于 2017-11-17 20:19
我的是安装了IDM之后，打开有音频的网站就会直接跳出来是否下载

看来姿势正确:Q

紫川风流 · 发表于 2017-12-1 22:23:05

学前端的，略懂，略懂！！！:D:D

还原紫 · 发表于 2017-12-4 11:40:39

学习学习，非常实用。一般我经常搜后缀。

zssg2012 · 发表于 2017-12-5 17:59:04

牛逼顶起来

刘朋录 · 发表于 2017-12-5 18:32:29

刚好老师让我们下载视频，有这个真是省很多时间了

馒头想变成冰棍 · 发表于 2018-3-21 03:14:46

惶心最帅

CADKing · 发表于 2018-3-21 08:12:04

亲自试过，有用用用

piupiupiu · 发表于 2018-3-21 09:30:39

收藏了:funk::funk::funk:

死不恨 · 发表于 2018-3-21 18:50:02

请问网站不让调试了怎么办

梧桐雨 · 发表于 2018-4-7 23:00:44

试了一下，一次成功，牛人啊：）

小汤圆steven · 发表于 2018-4-9 11:53:09

阿里嘎多。感谢~

惶心 · 发表于 2018-4-9 12:05:24

小汤圆steven 发表于 2018-4-9 11:53
阿里嘎多。感谢~

客气客气~

GooG · 发表于 2018-4-30 00:59:37

如果视频连接地址是在播放器里面调用的参数传递的，那就无法抓到

愚人 · 发表于 2018-4-30 11:30:52

:D:D:D:D:D:D:D