多测师是一家拥有先进的教学理念,强大的师资团队,业内好评甚多的接口自动化测试培训机构!

17727591462

联系电话

您现在所在位置:接口自动化测试培训 > 新闻资讯

scrapy爬虫框架简单Demo-自动化测试

更新时间:2022-06-30 09:27:29 作者:多测师 浏览:73

  settings.py

  修改Mysql的配置信息

  #Mysql数据库的配置信息

  MYSQL_HOST = '127.0.0.1'

  MYSQL_DBNAME = 'testdb' #数据库名字,请修改

  MYSQL_USER = 'root' #数据库账号,请修改

  MYSQL_PASSWD = '123456' #数据库密码,请修改

  MYSQL_PORT = 3306 #数据库端口,在dbhelper中使用

  指定pipelines

  ITEM_PIPELINES = {

  'webCrawler_scrapy.pipelines.WebcrawlerScrapyPipeline': 300,#保存到mysql数据库

  'webCrawler_scrapy.pipelines.JsonWithEncodingPipeline': 300,#保存到文件中

scrapy爬虫框架简单Demo-自动化测试

  items.py

  声明需要格式化处理的字段

  class WebcrawlerScrapyItem(scrapy.Item):

  '''定义需要格式化的内容(或是需要保存到数据库的字段)'''

  # define the fields for your item here like:

  # name = scrapy.Field()

  name = scrapy.Field() #修改你所需要的字段

  pipelines.py一、保存到数据库的类WebcrawlerScrapyPipeline(在settings中声明)

  定义一个类方法from_settings,得到settings中的Mysql数据库配置信息,得到数据库连接池dbpool

  @classmethod

  def from_settings(cls,settings):

  '''1、@classmethod声明一个类方法,而对于平常我们见到的则叫做实例方法。

  2、类方法的第一个参数cls(class的缩写,指这个类本身),而实例方法的第一个参数是self,表示该类的一个实例

  3、可以通过类来调用,就像C.f(),相当于java中的静态方法'''

  dbparams=dict(

  host=settings['MYSQL_HOST'],#读取settings中的配置

  db=settings['MYSQL_DBNAME'],

  user=settings['MYSQL_USER'],

  passwd=settings['MYSQL_PASSWD'],

  charset='utf8',#编码要加上,否则可能出现中文乱码问题

  cursorclass=MySQLdb.cursors.DictCursor,

  use_unicode=False,

  )

  dbpool=adbapi.ConnectionPool('MySQLdb',**dbparams)#**表示将字典扩展为关键字参数,相当于host=xxx,db=yyy....

  return cls(dbpool)#相当于dbpool付给了这个类,self中可以得到

  __init__中会得到连接池dbpool

  def __init__(self,dbpool):

  self.dbpool=dbpool

  process_item方法是pipeline默认调用的,进行数据库操作

  #pipeline默认调用

  def process_item(self, item, spider):

  query=self.dbpool.runInteraction(self._conditional_insert,item)#调用插入的方法

  query.addErrback(self._handle_error,item,spider)#调用异常处理方法

  return item

  插入数据库方法_conditional_insert

  #写入数据库中

  def _conditional_insert(self,tx,item):

  #print item['name']

  sql="insert into testpictures(name,url) values(%s,%s)"

  params=(item["name"],item["url"])

  tx.execute(sql,params)

  错误处理方法_handle_error

  #错误处理方法

  def _handle_error(self, failue, item, spider):

  print failue

  以上内容为大家介绍了自动化测试中的scrapy爬虫框架简单Demo,本文由多测师亲自撰写,希望对大家有所帮助。了解更多自动化测试相关知识:https://www.aichudan.com/xwzx/

联系电话

17727591462

返回顶部