批量爬取百度图库中的图片
一、导入库
首先导入需要用到的库，具体如下：
import time
from captcha import *
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import wait
from selenium.webdriver.common.keys import Keys
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from webdriver_manager.chrome import ChromeDriverManager
from selenium.common.exceptions import NoSuchElementException
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions as EC如有未安装库的小伙伴，自行百度安装一下。
二、定义爬取的目标网站和图片类型
百度图片网中存了很多类型的图片，本文以百度图片网作为目标网站，汽车图片作为图片类型进行代码探索。
登录百度图片网并搜索汽车图片的代码如下：input_pic_name = '汽车图片'
#输入查找图片类型
browser = webdriver.Chrome(ChromeDriverManager().install())
#安装chrom
browser.maximize_window()
#最大化窗口
login_url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1710763846264_R&pv=&ic=&nc=1&z=&hd=&latest=©right=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&dyTabStr=MCwzLDEsMiw2LDQsNSw3LDgsOQ%3D%3D&ie=utf-8&sid=&word=%E6%B1%BD%E8%BD%A6%E5%9B%BE%E7%89%87'
#网址
browser.get(login_url)
#登录网址
input_pic_type = browser.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div[1]/form/span[1]/input')
#输入查询内容的路径
input_pic_type.send_keys(Keys.CONTROL, 'a')
input_pic_type.send_keys(input_pic_name, Keys.ENTER)登录并搜索汽车图片后可看到如下页面：
三、获取单张图片的下载链接
接着通过xpath路径的方法获取第一张图片的下载链接，具体代码如下： 得到结果：
四、下载单张图片接着通过获取到的链接下载第一张图片，具体代码如下：
browser.get(new_herf) browser.find_element_by_xpath('/html/body/div[1]/div[2]/div/div[2]/div/div[1]/span[7]').click() #下载图片 得到结果：
五、批量下载图片 最后写循环批量下载图片。 这里的关键是找到所有图片的xpath路径，并从路径中获取下载图片的链接，接着模拟点击下载即可。 所以首先要找出所有xpath路径的规律，并用循环的方式获取到所有路径。 先看下前几张图片的xpath路径： //*[@id="imgid"]/div[1]/ul/li[1]/div/div[2]/a //*[@id="imgid"]/div[1]/ul/li[2]/div/div[2]/a //*[@id="imgid"]/div[1]/ul/li[3]/div[1]/div[2]/a //*[@id="imgid"]/div[1]/ul/li[4]/div/div[2]/a //*[@id="imgid"]/div[1]/ul/li[5]/div/div[2]/a //*[@id="imgid"]/div[1]/ul/li[6]/div[1]/div[2]/a 可以梳理出xpath的循环格式如下： url_xpath = '//*[@id="imgid"]/div['+ str(j) + ']/ul/li[' + str(i) + ']/div/div[2]/a' or url_xpath = '//*[@id="imgid"]/div['+ str(j) + ']/ul/li[' + str(i) + ']/div[1]/div[2]/a' 然后把批量下载图片的代码封装到函数里，具体如下： def get_pic(input_pic_name, num): input_pic_name = input_pic_name #输入想要获取的图片名称 browser = webdriver.Chrome(ChromeDriverManager().install()) browser.maximize_window() login_url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1710763846264_R&pv=&ic=&nc=1&z=&hd=&latest=©right=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&dyTabStr=MCwzLDEsMiw2LDQsNSw3LDgsOQ%3D%3D&ie=utf-8&sid=&word=%E6%B1%BD%E8%BD%A6%E5%9B%BE%E7%89%87' browser.get(login_url) input_pic_type = browser.find_element_by_xpath('/html/body/div[1]/div[1]/div/div/div[1]/form/span[1]/input') input_pic_type.send_keys(Keys.CONTROL, 'a') input_pic_type.send_keys(input_pic_name, Keys.ENTER) all_herf = [] for j in range(1, num+1): for i in range(1, num+1): #获取对应图片下载地址 try: url_xpath = '//*[@id="imgid"]/div['+ str(j) + ']/ul/li[' + str(i) + ']/div/div[2]/a' new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href') all_herf.append(new_herf) except: pass try: url_xpath = '//*[@id="imgid"]/div['+ str(j) + ']/ul/li[' + str(i) + ']/div[1]/div[2]/a' new_herf = browser.find_element_by_xpath(url_xpath).get_attribute('href') all_herf.append(new_herf) except: pass i = 1 for herf in all_herf: browser.get(herf) time.sleep(5) #下载图片 browser.find_element_by_xpath('/html/body/div[1]/div[2]/div/div[2]/div/div[1]/span[7]').click() browser.implicitly_wait(10) #i += 1 #if i>3: #browser.close() #browser.implicitly_wait(1) return len(all_herf) 最后调用函数批量下载图片，代码如下： input_pic_name = '汽车图片' #输入想下载图片的名称 num_pic = 20 #输入想下载图片数量 get_pic(input_pic_name, num_pic/2) #批量获取对应图片 至此，应用Python批量爬取百度图库网中的图片已讲解完毕，如想了解更多Python中的函数，可以翻看公众号中“学习Python”模块相关文章。