多测师是一家拥有先进的教学理念,强大的师资团队,业内好评甚多的接口自动化测试培训机构!

17727591462

联系电话

您现在所在位置:接口自动化测试培训 > 新闻资讯

使用Python Selenium爬虫实现歌曲免费下载-自动化测试

更新时间:2022-04-07 09:15:29 作者:多测师 浏览:89

  最近发现越来越多的歌曲下载都需要缴费了,对维护正版是好事。但有的时候也想钻个空子,正好最近在学习python,随手写了一个建议爬虫,用来爬取某播放软件的在线音乐。

使用Python Selenium爬虫实现歌曲免费下载-自动化测试

  主要思路就是爬取播放页里的播放源文件的url,程序可以读取用户输入并返回歌单,,,因为在线网站包含大量js,requests就显得很无奈,又懒得手动解析js,于是寄出selenium大杀器。

  selnium是一款很强大的浏览器自动化测试框架,直接运行在浏览器端,模拟用户操作,目前selenium支持包括IE,Firefox,Chrome等主流浏览器及PhantomJS之类的无头浏览器,selenium+phantomjs也是现在很火的一个爬虫框架。

  代码不长,做的有些简陋,以后可以加个GUI

  步骤一:

  进入酷狗主页,F12查看元素,,通过selenium.webdriver的send_keys()方法给send_input类传参,即用作用户的输入,然后通webdriver.click()方法点击搜索按钮,得到搜索结果列表。这里会有一个js重定向,通过webdriver.current_ur就可以了,,切记一点!传入的参数需要经过unicode编码(.decode(‘gb18030′))效果一样),否则如果有中文会乱码。。(来自被深深困扰的我)

  步骤二:

  查看元素里每首歌的路径,发现每首歌的路径只有<li>不同,于是通过对li的迭代来获取每一首歌的xpath,并输出歌曲名字的元素,然后依旧通过webdriver的click()方法点击歌曲链接,得到歌曲播放页面,这里没有什么难点,都是常规操作。需要注意的是,这里的歌曲链接也包含一个js的重定向,但不一样的是浏览器会打开一个新的页面(至少火狐会),可以在click()方法后通过webdriver.switch_to_window()方法跳转到新打开的页面

  步骤三:

  进入播放页面后通过xpath找到播放源文件链接(强推firepath,xpath神器啊)但发现这里依然有一个js渲染,来生成播放源链接,直接提取<src>标签会显示为空,于是继续webdriver,调用的浏览器会自动解析js脚本,解析完成后提取<src>得到歌曲链接,使用urllib的urlretrueve()下载即可

  代码如下:

  #coding=utf-8

  from selenium.webdriver.remote.webelement import WebElement

  from selenium import webdriver

  from selenium.webdriver import ActionChains

  from selenium.common.exceptions import NoSuchElementException

  from selenium.common.exceptions import StaleElementReferenceException

  from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

  from selenium.webdriver.common.by import By

  import time

  import urllib

  #歌曲名

  mname = ''

  #JS重定向

  def wait(driver):

      elem = driver.find_element_by_tag_name('html')

      count = 0

      while True:

          count += 1

          if count > 20:

              print('chao shi le')

              return

          time.sleep(.5)

          try:

              elem == driver.find_element_by_tag_name('html')

          except StaleElementReferenceException:

              return

  #获取url

  def geturl():

      input_string = raw_input('>>>please input the search key:')

      driver = webdriver.Chrome()

      url = 'http://www.kugou.com/'

      driver.get(url)

      a=driver.find_element_by_xpath('html/body/div[1]/div[1]/div[1]/div[1]/input') #输入搜索内容

      a.send_keys(input_string.decode('gb18030'))

      driver.find_element_by_xpath('html/body/div[1]/div[1]/div[1]/div[1]/div/i').click() #点击搜索

      result_url = driver.current_url

      driver.quit()

      return result_url

  #显示搜索结果

  def show_results(url):

      driver = webdriver.Chrome()

      driver.get(url)

      time.sleep(3)

      for i in range(1,1000):

          try:

              print '%d. '%i + driver.find_element_by_xpath(".//*[@id='search_song']/div[2]/ul[2]/li[%d]/div[1]/a"%i).get_attribute('title')  #获取歌曲名

          except NoSuchElementException as msg:

              break

      choice = input(">>>Which one do you want(you can input 'quit' to goback(带引号)):")

      if choice == 'quit':   #从下载界面退回

          result = 'quit'

      else:

          global mname

          mname = driver.find_element_by_xpath(".//*[@id='search_song']/div[2]/ul[2]/li[%d]/div[1]/a"%choice).get_attribute('title')

          a = driver.find_element_by_xpath(".//*[@id='search_song']/div[2]/ul[2]/li[%d]/div[1]/a"%choice)

          actions = ActionChains(driver)

          actions.move_to_element(a)

          actions.click(a)

          actions.perform()

          #wait(driver)

          driver.switch_to_window(driver.window_handles[1])  #跳转到新打开的页面

          result = driver.find_element_by_xpath(".//*[@id='myAudio']").get_attribute('src') #获取播放元文件url

          driver.quit()

      return result

  #下载回调

  def cbk(a, b, c):

      per = 100.0 * a * b / c  

      if per > 100:

          per = 100

      print '%.2f%%' % per

      

  def main():

      print'***********************欢迎使用GREY音乐下载器********************************'

      print'                                                      directed by GreyyHawk'

      print'**************************************************************************'

      time.sleep(1)

      while True:

          url = geturl()

          result = show_results(url)

          if result == 'quit':

              print'\n'

              continue

          else:

              local = 'd://%s.mp3'%mname

              print 'download start'

              time.sleep(1)

              urllib.urlretrieve(result, local, cbk)

              print 'finish downloading %s.mp3'%mname + '\n\n'

  if __name__ == '__main__':

    main()                         

    

  总结:

  当网页包含大量js的时候,selenium就会非常的方便,但经过实践发现好像phantomjs解析js的效率没有世纪浏览器的高,还会出错,后来换成调用火狐就好了。

  以上内容为大家介绍了自动化测试中的使用Python Selenium爬虫实现歌曲免费下载,本文由多测师亲自撰写,希望对大家有所帮助。了解更多自动化测试相关知识:https://www.aichudan.com/xwzx/

联系电话

17727591462

返回顶部