Selenium+Phantomjs爬取网易云音乐评论信息-自动化测试

　　网易云音乐的网页端与服务端通讯做了加密，本人才疏学浅破解不了，于是考虑用selenium +phantomjs的方式爬取，selenium 用pip install selenium 安装phantomjs 官网下载安装包即可，Python版本为3.6，用了mysql数据库，环境为win7 不过理论上linux mac也可以跑

　　1.爬取思路

　　点开一首歌的页面，这首歌的评论也会出现在页面下方，当然通常情况下一页是加载不完的，所以得通过模拟点击下一页的方式一页一页的捞评论，因为只是爬取数据顺便学习下，只爬取了用户id，用户昵称，建立了一个 userid nickname music 构成的mysql表，同时将爬取并且通过selenium 解析出来的页面信息缓存到本地，以后也许会有用的上的地方

　　2.几个关键点

　　在爬取过程中有几个点需要注意

　　1.selenium +phantomjs 解析页面时，如果页面上用到了iframe，需要switch_to.frame()的方式切换到对应的iframe，否则可能会导致查找不到需要的 element

　　2.页面上有异步的ajax请求时，最好在做操作后等待一会再查找element，否则有可能找不到数据

　　3.有的操作是让页面重新走了下ajax请求如点击下一页，这个时候页面不需要重新加载url地址，有些则需要，比如这首歌的评论我爬完了，爬取下一首

　　4.结合代码讲解下

　　代码一个是操作数据的sqlinstance.py 一个是主程序 spider_main.py

　　sqlinstance 用了sqlalchemy框架，目前只有一张表用于记录用户和歌曲的评论关系，

　　代码如下

　　from sqlalchemy import create_engine, text, Column, Integer, String, Sequence, \

　　Date, UniqueConstraint, BigInteger

　　from sqlalchemy.ext.declarative import declarative_base

　　from sqlalchemy.orm import sessionmaker

　　Base = declarative_base()

　　class MusicCmt(Base):

　　__tablename__ = "t_musiccmts"

　　id=Column(Integer,primary_key=True,autoincrement=True)

　　userid = Column(BigInteger)

　　nickname=Column(String(20),nullable=False)

　　musicid = Column(BigInteger, nullable=False)

　　__table_args__ = (UniqueConstraint('nickname', 'musicid'),

　　)

　　# 建立连接

　　engine = create_engine('mysql+pymysql://pig:123456@localhost:3306/cloudmusic?charset=utf8'

　　,encoding='utf-8',echo=False,pool_size=50, pool_recycle=3600)

　　DBSession = sessionmaker(bind=engine)

　　# 通过代码创建数据库

　　try:

　　MusicCmt.__table__.create(engine)

　　except Exception as e :

　　print(e)

　　pass

　　class SqlInstance:

　　def addmark(self,**kwargs):

　　session = DBSession()

　　try:

　　# 插入一条数据

　　session.add(

　　MusicCmt(userid=kwargs['userid'], musicid=kwargs['musicid'],nickname=kwargs["nickname"]))

　　session.commit()

　　except Exception as e:

　　print(e)

　　pass

　　session.close()

　　sqlInstance=SqlInstance()

　　代码看完 基本的sqlalchemy 建立mysql数据表并插入数据的操作就可以做了，其他复杂操作可以查官网，这里我也不多说了

　　接下来是主程序了，因为元素定位是用来很多xpath的语法，不熟悉的同学最好先看下语法，然后自己打开一个网易云音乐的页面，用Chrome的检查元素，再通过xpath查询的方式定位element ，可以验证下代码和xpath语法

　　主程序代码如下

　　import os

　　import re

　　import time

　　from selenium import webdriver

　　from selenium.webdriver import DesiredCapabilities

　　import configparser

　　import sqlinstance

　　# 将目标musicid存到了一个文件里面，这个如果要做大的话可以动态获得

　　config = configparser.ConfigParser()

　　config.read('myselectMusic.ini')

　　musiclist= config['nemusic']['id'].split(",")

　　# //PHANTOMJS自定义userAgent，避免被反爬

　　dcap = dict(DesiredCapabilities.PHANTOMJS)

　　dcap["phantomjs.page.settings.userAgent"] = (

　　"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"

　　)

　　driver = webdriver.PhantomJS(desired_capabilities=dcap)

　　# 设置一个很长的网页加载数据，省的有些情况还得滚动页面

　　driver.set_window_size(1920,5000)

　　for musicid in musiclist:

　　# 加载歌曲第一页

　　driver.get("http://music.163.com/#/song?id=%s" % (musicid))

　　# 等待网页ajax 请求完成

　　time.sleep(1)

　　ele = driver.find_element_by_class_name("g-iframe")

　　# print(ele)

　　# 页面里面有iframe嵌套，如果要定位的元素iframe里面

　　# 必须切换，否则会查找不到

　　driver.switch_to.frame(ele)

　　pagenum=1

　　# 查看下已经爬取了多少页，

　　# 避免重复操作

　　savedfiles = os.listdir("saves")

　　thissaved = [a for a in

　　savedfiles if

　　a.startswith(musicid) and a.count("final")>0]

　　if(len(thissaved)>0):

　　continue

　　maxpage=0

　　try:

　　thissaved = [int(a.replace(musicid + "_", "").replace(r".txt", "")) for a in savedfiles if

　　a.startswith(musicid)]

　　except:

　　maxpage == "final"

　　pass

　　if maxpage and maxpage == "final":

　　continue

　　if len(thissaved)>0:

　　maxpage = sorted(thissaved, reverse=True)[0]

　　else:

　　maxpage=0

　　maxpage=int(maxpage)

　　if maxpage>0:

　　current_is_end=False

　　while True:

　　# 这个xpath是查找页面底部的 1.2,3 。。。这些的翻页element

　　# 点击就是跳的目标页了

　　# 网易云音乐的布局是 最后一个是跳转下一页，倒数第二个是跳转最后一页

　　# ，倒数第二个是翻一个大页面，如1-10 点了下就变成3-13 这种

　　pagejumps = driver.find_elements_by_xpath(

　　"//div[contains(@class,'u-page')]/a")

　　target=[ a for a in pagejumps if a.text==str(int(maxpage)+1)]

　　if target:

　　pagenum = maxpage+1

　　tarGET@[0].click()

　　time.sleep(1)

　　break

　　else:

　　pagejumps[-3].click()

　　time.sleep(1)

　　while True:

　　# 这个xpath就是找到当前页面的所有评论的用户昵称

　　cmts=driver.find_elements_by_xpath("//div[@class='cnt f-brk']/a[@class='s-fc7']")

　　# print(len(kk))

　　if len(cmts)>0:

　　for aelemnt in cmts:

　　urluid=aelemnt.get_attribute("href")

　　print("nikename:%s url%s" %(aelemnt.text,aelemnt.get_attribute("href")))

　　try:

　　# 从点击昵称的跳转链接正则解析出用户uid

　　saveuid=re.findall(r"id=(\d+)",urluid)[0]

　　except:

　　saveuid=None

　　pass

　　# 数据存入数据库

　　sqlinstance.sqlInstance.addmark(userid=saveuid, musicid=musicid,nickname=aelemnt.text)

　　# 找到页面上的下一页按钮

　　nextpagebtn=driver.find_element_by_xpath("//div[contains(@class,'u-page')]/a[text()='下一页']")

　　str = driver.find_element_by_xpath("//html").get_attribute("innerHTML")

　　# 判断当前页是否为最后一页

　　if "js-disable" in nextpagebtn.get_attribute("class"):

　　print("最后一页")

　　# 缓存下爬取的数据

　　with open("saves/%s_%s.txt" % (musicid, "final"), "w",encoding='utf-8') as f:

　　f.write(str)

　　break

　　else:

　　nextpagebtn.click()

　　with open("saves/%s_%s.txt" % (musicid, pagenum), "w",encoding='utf-8') as f:

　　f.write(str)

　　pagenum += 1

　　time.sleep(2)

　　# 退出浏览器别忘了

　　driver.quit()

　　以上内容为大家介绍了自动化测试中的Selenium+Phantomjs爬取网易云音乐评论信息，本文由多测师亲自撰写，希望对大家有所帮助。了解更多自动化测试相关知识：https://www.aichudan.com/xwzx/