如何抓取一个网站的子网页及其标题

老铁们,求助,,最近在做一个论文,编辑觉得论文深度不够,,所以需要抓取一个网站(子网页内容不是很多)的标题进行分析,求教如何实现,,,非计算机专业,,不会爬虫,有没有什么软件能够实现

淘宝上找个人帮忙抓一下，花不了多少钱。

网页直接保存下来

yanyaneboy 发表于 2022-10-7 13:34
淘宝上找个人帮忙抓一下，花不了多少钱。

哦哦哦,好,确实

小小 发表于 2022-10-7 11:56
网页直接保存下来

嗯嗯,还是网上爬取好了

非常简单，下载一个影刀，熟悉30分钟，无需编程，鼠标操作，几部就能建立一个标题爬取工作流，不需要购买付费版，个人免费版足够用了

huntian9 发表于 2022-10-8 14:59
非常简单，下载一个影刀，熟悉30分钟，无需编程，鼠标操作，几部就能建立一个标题爬取工作流，不需要购买付 ...

这玩意ibook装不了

那个网站,要是不麻烦我帮你写个爬虫

网站发一下，要是简单的话，我就帮你整个脚本了

岛上书店 发表于 2022-10-13 14:13
那个网站,要是不麻烦我帮你写个爬虫

有四个,,,先发一个,麻烦大佬看看:https://www.nsmc.edu.cn/kejichu

喜欢毛绒绒的 发表于 2022-10-13 15:05
网站发一下，要是简单的话，我就帮你整个脚本了

多谢,,,先等"岛上书店"同志看看不,,避免同时浪费了大家精力

huntian9 发表于 2022-10-8 14:59
非常简单，下载一个影刀，熟悉30分钟，无需编程，鼠标操作，几部就能建立一个标题爬取工作流，不需要购买付 ...

不错

Offline Explorer 用这个软件可以实现。

z986100078 发表于 2022-10-15 09:44
多谢,,,先等"岛上书店"同志看看不,,避免同时浪费了大家精力

我去，我把这个网站抓崩了，完了完了

1. from time import sleep
   
2. 
   
3. import requests
   
4. from bs4 import BeautifulSoup
   
5. 
   
6. 
   
7. def main():
   
8.     with open('results.txt','w+') as f:
   
9.         for i in range(1, 60000):
   
10.             try:
    
11.                 url = 'https://www.nsmc.edu.cn/kejichu/' + str(i) + '.html'
    
12. 
    
13.                 res = requests.get(url, verify=False)
    
14.                 html = BeautifulSoup(res.text, features="lxml")
    
15.                 title = html.title.string
    
16.                 print(url)
    
17.                 if title != "提示信息":
    
18.                     resultItem=[url,'\n',title,'\n']
    
19.                     f.writelines(resultItem)
    
20. 
    
21.                     print(title)
    
22.             except Exception as e:
    
23.                 print('err:'+url)
    
24.                 sleep(2)
    
25.                 pass
    
26.             # print(title)
    
27.             # print(res.text)
    
28. 
    
29. 
    
30. if __name__ == '__main__':
    
31.     main()
    

复制代码

结果下载地址：下载地址
（太大了没法放附件）

喜欢毛绒绒的 发表于 2022-10-16 07:56
结果下载地址：下载地址
（太大了没法放附件）

多谢大佬们帮助

已解决,多谢部落各位大佬的支持

没法加好友啊hhh，虫部落的好友数满了

喜欢毛绒绒的 发表于 2022-10-16 10:31
没法加好友啊hhh，虫部落的好友数满了

可以留个联系方式么,,我WX:z986100078,,,邮箱:z986100078@outlook.com

huntian9 发表于 2022-10-8 14:59
非常简单，下载一个影刀，熟悉30分钟，无需编程，鼠标操作，几部就能建立一个标题爬取工作流，不需要购买付 ...

学习使用Python、影刀、uibot等程序来爬取数据，非常的方便高效