7行代码爬取本博客所有文章
为了水篇博客，我也是尽力了。
如果报错，就新建一个文件夹abc
image.png
import requests, parsel
for i in range(1, 37):
res = parsel.Selector(requests.get(f'https://pan.lanol.cn/page_{i}.html').text)
titles = res.xpath("//h2[@class='entry-title']/a/text()").extract()
for index, value in enumerate(res.xpath("//h2[@class='entry-title']/a/@href").extract()):
with open("./abc/" + titles[index] + '.html', 'a+', encoding='utf8')as f:
f.write(parsel.Selector(requests.get(value).text).xpath("//div[@class='single-content']").extract_first())
image.png
本文参与?腾讯云自媒体分享计划，分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读