神刀安全网

Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

摘要:介绍了使用Scrapy处理JSON API和AJAX页面的方法

有时候,你会发现你要爬取的页面并不存在HTML源码,譬如,在浏览器打开 http://localhost:9312/static/ ,然后右击空白处,选择“查看网页源代码”,如下所示:

Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

就会发现一片空白

Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

留意到红线处指定了一个名为api.json的文件,于是打开浏览器的调试器中的Network面板,找到名为api.json的标签

Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

在上图的红色框里就找到了原网页中的内容,这是一个简单的JSON API,有些复杂的API会要求你先登录,发送POST请求,或者返回一些更加有趣的数据结构。Python提供了一个用于解析JSON的库,可以通过语句json.loads(response.body)将JSON数据转变成Python对象

api.py文件的源代码地址:

https://github.com/Kylinlin/scrapybook/blob/master/ch05%2Fproperties%2Fproperties%2Fspiders%2Fapi.py

复制manual.py文件,重命名为api.py,做以下改动:

  • 将spider名修改为api

  • 将start_urls修改为JSON API的URL,如下

   start_urls = ( 'http://web:9312/properties/api.json', ) 

如果在获取这个json的api之前,需要登录,就使用start_request()函数(参考 《Learning Scrapy笔记(五)- Scrapy登录网站》)

  • 修改parse函数
   def parse(self, response):     base_url = "http://web:9312/properties/"     js = json.loads(response.body)   for item in js:         id = item["id"]         url = base_url + "property_%06d.html" % id # 构建一个每个条目的完整url         yield Request(url, callback=self.parse_item) 

上面的js变量是一个列表,每个元素都代表了一个条目,可以使用scrapy shell工具来验证:

   scrapy shell http://web:9312/properties/api.json 

Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

运行该spider:scrapy crawl api

Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

可以看到总共发送了31个request,获取了30个item

再观察上图中使用scrapy shell工具检查js变量的图,其实除了id字段外,还可以获取title字段,所以可以在parse函数中同时获取title字段,并将该字段的值传送到parse_item函数中填充到item里(省去了在parse_item函数中使用xpath来提取title的步骤),修改parse函数如下:

   title = item["title"] yield Request(url, meta={"title": title},callback=self.parse_item) #meta变量是一个字典,用于向回调函数传递数据 

在parse_item函数中,可以在response中提取这个字段

   l.add_value('title', response.meta['title'],         MapCompose(unicode.strip, unicode.title)) 

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » Learning Scrapy笔记(六)- Scrapy处理JSON API和AJAX页面

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
分享按钮