多测师是一家拥有先进的教学理念,强大的师资团队,业内好评甚多的接口自动化测试培训机构!

17727591462

联系电话

您现在所在位置:接口自动化测试培训 > 新闻资讯

Selenium+Phantomjs爬取网易云音乐评论信息-自动化测试

更新时间:2022-04-02 09:05:17 作者:多测师 浏览:73

  网易云音乐的网页端与服务端通讯做了加密,本人才疏学浅破解不了,于是考虑用selenium +phantomjs的方式爬取,selenium 用pip install selenium 安装phantomjs 官网下载安装包即可,Python版本为3.6,用了mysql数据库,环境为win7 不过理论上linux mac也可以跑

Selenium+Phantomjs爬取网易云音乐评论信息-自动化测试

  1.爬取思路

  点开一首歌的页面,这首歌的评论也会出现在页面下方,当然通常情况下一页是加载不完的,所以得通过模拟点击下一页的方式一页一页的捞评论,因为只是爬取数据顺便学习下,只爬取了用户id,用户昵称,建立了一个 userid nickname music 构成的mysql表,同时将爬取并且通过selenium 解析出来的页面信息缓存到本地,以后也许会有用的上的地方

  2.几个关键点

  在爬取过程中有几个点需要注意

  1.selenium +phantomjs 解析页面时,如果页面上用到了iframe,需要switch_to.frame()的方式切换到对应的iframe,否则可能会导致查找不到需要的 element

  2.页面上有异步的ajax请求时,最好在做操作后等待一会再查找element,否则有可能找不到数据

  3.有的操作是让页面重新走了下ajax请求如点击下一页,这个时候页面不需要重新加载url地址,有些则需要,比如这首歌的评论我爬完了,爬取下一首

  4.结合代码讲解下

  代码一个是操作数据的sqlinstance.py 一个是主程序 spider_main.py

  sqlinstance 用了sqlalchemy框架,目前只有一张表用于记录用户和歌曲的评论关系,

  代码如下

  from sqlalchemy import create_engine, text, Column, Integer, String, Sequence, \

  Date, UniqueConstraint, BigInteger

  from sqlalchemy.ext.declarative import declarative_base

  from sqlalchemy.orm import sessionmaker

  Base = declarative_base()

  class MusicCmt(Base):

  __tablename__ = "t_musiccmts"

  id=Column(Integer,primary_key=True,autoincrement=True)

  userid = Column(BigInteger)

  nickname=Column(String(20),nullable=False)

  musicid = Column(BigInteger, nullable=False)

  __table_args__ = (UniqueConstraint('nickname', 'musicid'),

  )

  # 建立连接

  engine = create_engine('mysql+pymysql://pig:123456@localhost:3306/cloudmusic?charset=utf8'

  ,encoding='utf-8',echo=False,pool_size=50, pool_recycle=3600)

  DBSession = sessionmaker(bind=engine)

  # 通过代码创建数据库

  try:

  MusicCmt.__table__.create(engine)

  except Exception as e :

  print(e)

  pass

  class SqlInstance:

  def addmark(self,**kwargs):

  session = DBSession()

  try:

  # 插入一条数据

  session.add(

  MusicCmt(userid=kwargs['userid'], musicid=kwargs['musicid'],nickname=kwargs["nickname"]))

  session.commit()

  except Exception as e:

  print(e)

  pass

  session.close()

  sqlInstance=SqlInstance()

  代码看完 基本的sqlalchemy 建立mysql数据表并插入数据的操作就可以做了,其他复杂操作可以查官网,这里我也不多说了

  接下来是主程序了,因为元素定位是用来很多xpath的语法,不熟悉的同学最好先看下语法,然后自己打开一个网易云音乐的页面,用Chrome的检查元素,再通过xpath查询的方式定位element ,可以验证下代码和xpath语法

  主程序代码如下

  import os

  import re

  import time

  from selenium import webdriver

  from selenium.webdriver import DesiredCapabilities

  import configparser

  import sqlinstance

  # 将目标musicid存到了一个文件里面,这个如果要做大的话可以动态获得

  config = configparser.ConfigParser()

  config.read('myselectMusic.ini')

  musiclist= config['nemusic']['id'].split(",")

  # //PHANTOMJS自定义userAgent,避免被反爬

  dcap = dict(DesiredCapabilities.PHANTOMJS)

  dcap["phantomjs.page.settings.userAgent"] = (

  "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"

  )

  driver = webdriver.PhantomJS(desired_capabilities=dcap)

  # 设置一个很长的网页加载数据,省的有些情况还得滚动页面

  driver.set_window_size(1920,5000)

  for musicid in musiclist:

  # 加载歌曲第一页

  driver.get("http://music.163.com/#/song?id=%s" % (musicid))

  # 等待网页ajax 请求完成

  time.sleep(1)

  ele = driver.find_element_by_class_name("g-iframe")

  # print(ele)

  # 页面里面有iframe嵌套,如果要定位的元素iframe里面

  # 必须切换,否则会查找不到

  driver.switch_to.frame(ele)

  pagenum=1

  # 查看下已经爬取了多少页,

  # 避免重复操作

  savedfiles = os.listdir("saves")

  thissaved = [a for a in

  savedfiles if

  a.startswith(musicid) and a.count("final")>0]

  if(len(thissaved)>0):

  continue

  maxpage=0

  try:

  thissaved = [int(a.replace(musicid + "_", "").replace(r".txt", "")) for a in savedfiles if

  a.startswith(musicid)]

  except:

  maxpage == "final"

  pass

  if maxpage and maxpage == "final":

  continue

  if len(thissaved)>0:

  maxpage = sorted(thissaved, reverse=True)[0]

  else:

  maxpage=0

  maxpage=int(maxpage)

  if maxpage>0:

  current_is_end=False

  while True:

  # 这个xpath是查找页面底部的 1.2,3 。。。这些的翻页element

  # 点击就是跳的目标页了

  # 网易云音乐的布局是 最后一个是跳转下一页,倒数第二个是跳转最后一页

  # ,倒数第二个是翻一个大页面,如1-10 点了下就变成3-13 这种

  pagejumps = driver.find_elements_by_xpath(

  "//div[contains(@class,'u-page')]/a")

  target=[ a for a in pagejumps if a.text==str(int(maxpage)+1)]

  if target:

  pagenum = maxpage+1

  tarGET@[0].click()

  time.sleep(1)

  break

  else:

  pagejumps[-3].click()

  time.sleep(1)

  while True:

  # 这个xpath就是找到当前页面的所有评论的用户昵称

  cmts=driver.find_elements_by_xpath("//div[@class='cnt f-brk']/a[@class='s-fc7']")

  # print(len(kk))

  if len(cmts)>0:

  for aelemnt in cmts:

  urluid=aelemnt.get_attribute("href")

  print("nikename:%s url%s" %(aelemnt.text,aelemnt.get_attribute("href")))

  try:

  # 从点击昵称的跳转链接正则解析出用户uid

  saveuid=re.findall(r"id=(\d+)",urluid)[0]

  except:

  saveuid=None

  pass

  # 数据存入数据库

  sqlinstance.sqlInstance.addmark(userid=saveuid, musicid=musicid,nickname=aelemnt.text)

  # 找到页面上的下一页按钮

  nextpagebtn=driver.find_element_by_xpath("//div[contains(@class,'u-page')]/a[text()='下一页']")

  str = driver.find_element_by_xpath("//html").get_attribute("innerHTML")

  # 判断当前页是否为最后一页

  if "js-disable" in nextpagebtn.get_attribute("class"):

  print("最后一页")

  # 缓存下爬取的数据

  with open("saves/%s_%s.txt" % (musicid, "final"), "w",encoding='utf-8') as f:

  f.write(str)

  break

  else:

  nextpagebtn.click()

  with open("saves/%s_%s.txt" % (musicid, pagenum), "w",encoding='utf-8') as f:

  f.write(str)

  pagenum += 1

  time.sleep(2)

  # 退出浏览器别忘了

  driver.quit()

  以上内容为大家介绍了自动化测试中的Selenium+Phantomjs爬取网易云音乐评论信息,本文由多测师亲自撰写,希望对大家有所帮助。了解更多自动化测试相关知识:https://www.aichudan.com/xwzx/

联系电话

17727591462

返回顶部