百度图片的动态爬取-自动化测试

　　以前自己写的爬虫只能静态的爬取，经过这几天的学习也摸索出自己的一套动态爬取的方法，分享如下：

　　首先动态爬取需要了解的知识主要有：Python ,Beautifulsoup4, Selenium

　　第一步：使用selenium打开谷歌浏览器驱动

　　第二步：打开要访问的网站

　　第三不：将selenium打开的网站源码赋给一个对象

　　第四步：利用Beautifulsoup4创建soup对象，并解析页面，得到页面数据

　　第五步：利用soup对象中的findAll函数提取相应的图片数据

　　第六步：将图片数据写入相应的盘中

　　第七步：通过selenium模拟鼠标向下滚动，回到第三步，循环执行，直到滚动到所设定的鼠标位置然后退出。

　　最后一步退出浏览器

　　其实过程很简单，最主要是第三步到第七步，这几步需要循环执行。以下是代码：

　　是不是很简单，其实完全可以利用url.request完成这个项目的,不过我还是喜欢selenium提取

　　文本代码：

　　#necoding="utf-8"

　　from selenium import webdriver

　　from selenium.webdriver.common.keys import Keys

　　from bs4 import BeautifulSoup as bs

　　import urllib.request

　　import re

　　import os

　　import time

　　#启动谷歌驱动

　　driver=webdriver.Chrome()

　　#要访问的网站

　　driver.get("https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=detail&fr=&hs=0&xthttps=111111&sf=1&fmq=1505741119622_R&pv=&ic=0&nc=1&z=&se=&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E6%99%AF%E7%94%9C%E5%9B%BE%E7%89%87&oq=%E6%99%AF%E7%94%9C&rsp=0")

　　#延时5s是因为页面需要加载时间

　　time.sleep(5)

　　#count作用是定位滚动条位置

　　count=500

　　#i为统计图片数量

　　i=1

　　#当鼠标位置小于4000，执行

　　while count<4000:

　　#将页面的源码赋值给你一个对象

　　html_page=driver.page_source

　　#创建Beautifulsoup4对象

　　soup=bs(html_page,"html.parser")

　　#读取页面图像信息

　　imgs=soup.findAll('img',{'src':re.compile(r'https:.*\.(jpg|png)')})

　　#延时2s保证信息能够读完

　　time.sleep(2)

　　#将图片写入到C盘img文件夹下

　　for img in imgs:

　　print(str(i)+':'+img.get('src')+'\n')

　　urllib.request.urlretrieve(img.get('src'),r'C:/img/%s.%s'%(i,img.get('src')[-3:]))

　　i+=1

　　#延时1s保证图片能够写完

　　time.sleep(1)

　　#鼠标自动向下滚动(很重要的)

　　js="$(document).scrollTop(%d)"%count

　　driver.execute_script(js)

　　count+=500

　　#延时3s保证页面加载完成

　　time.sleep(3)

　　#清空之前图像链接列表

　　imgs=[]

　　#等待3s退出浏览器

　　time.sleep(3)

　　driver.quit()

　　以上内容为大家介绍了自动化测试中的百度图片的动态爬取，本文由多测师亲自撰写，希望对大家有所帮助。了解更多自动化测试相关知识：https://www.aichudan.com/xwzx/