神刀安全网

Pyspider使用Selenium+Chrome实现爬取js动态页面


背景

最近一直在搞论坛的爬虫。爬着爬着,突然遇到一个论坛的反爬虫机制比较强。例如:http://bbs.nubia.cn/forum-64-1.html。当访问这个页面时,第一次返回的不是html页面,而是加密后的js内容,然后写入cookie,等待设置好的时间,然后跳转到真正的页面。 如下图:

Pyspider使用Selenium+Chrome实现爬取js动态页面

加密混淆后的js

  • 想到的方案:
  1. 分析加密的js,看怎么计算出的cookie,是否有规律可以生成该cookie等,然后每次访问时带上此cookie即可。
  2. 使用Pypisder自带的PhantomJs脚本,以PhantomJs的方法执行这个加密的JS,然后获取html的内容。
  3. 使用Selenium +WebDriver + Headless Chrome的方式获取html的内容。
  4. 使用puppeteer + Headless Chrome获取html的内容。
  • 分析方案:
  1. 分析加密的js不是件容易的事,要破解加密方法等难度相对较大,时间成本有限,暂时放弃。

  2. 本打算使用pyspider自带的phanthomjs方式,结果是phanthoms在访问上面的url时,一直处于卡死的状态;而且phantomjs的作者已经放弃维护它了,对于bug的修复和新的js语法支持力度不够。(需要进一步分析为什么会卡死?)

  3. 最终想到了selenium+webdriver+headlesschrome组合神器。想着如果能使用seleniu+chrome实现爬取动态页面,搭配pyspider爬取动态页面岂不是很爽。chrome是真正的浏览器,支持js特性比较全面,能真实的模拟用户请求,而且Chrome官方也出了针对headless chrome的api(node版本),api的可靠性,支持chrome特性的力度都非常的好。

  4. puppeteer 是nodejs版本的api, 对nodejs不熟悉,暂时先忽略。

Chrome

Chrome浏览器从59版本之后开始支持headless模式,用户可以在无界面下进行各种操作,例如:截图、把html输出PDF等等。MAC、Linux、Windows均有对应的Chrome,请根据平台进行下载、安装。更多headless chrome的用法可以参考:headless chrome用法

Selenium

Selenium是一个自动浏览器。虽然官方文档说Selenium是一个自动浏览器,但它并不是真正的浏览器,它只是可以驱动浏览器而已。Selenium是通过WebDriver来驱动浏览器的,每个浏览器都有对应的WebDriver。如果我们要用Chrome,就需要下载Chrome的WebDriver。

Selenium有很多语言版本的,你可以选择使用java, python等版本的。我这里选择使用python版的。python版本的selenium可以通过pip进行安装:pip install selenium

下载WebDriver时需要选择对应的平台,比如我是在win上跑,下载的就是windows平台的。

配置PATH

把下载的WebDriver放在PATH环境变量可以加载到的位置,这样在程序中不用指定webDriver,会方便很多。

Python版本的Headless Chrome Web Server

  • pyspider利用phantomjs爬取js动态页面的原理:
    pyspider搜索PATH中的phantomjs命令,然后使用phantomsjs去执行phantomjs_fetcher.js,从而启动一个监听固定port的web server服务;当在Handler中的self.crawl(xxx)方法中带上fetch_type=’js’参数时,pyspider便发请求给这个port,利用phantomjs去转发请求,访问js动态页面,从而爬虫动态页面。

如果我想利用selenium+chrome爬取动态页面,也需要实现一个web server,以便pyspider可以访问它,利用它转发请求。python版本的实现如下:

""" selenium web driver for js fetcher """  import urlparse import json import time import datetime  from selenium import webdriver from selenium.webdriver.chrome.options import Options from flask import Flask, request  app = Flask(__name__)   @app.route('/', methods=['POST', 'GET']) def handle_post():     if request.method == 'GET':         body = "method not allowed!"         headers = {             'Cache': 'no-cache',             'Content-Length': len(body)         }         return body, 403, headers     else:         start_time = datetime.datetime.now()         raw_data = request.get_data()         fetch = json.loads(raw_data, encoding='utf-8')         print('fetch=', fetch)          result = {'orig_url': fetch['url'],                   'status_code': 200,                   'error': '',                   'content': '',                   'headers': {},                   'url': '',                   'cookies': {},                   'time': 0,                   'js_script_result': '',                   'save': '' if fetch.get('save') is None else fetch.get('save')                   }          driver = InitWebDriver.get_web_driver(fetch)         try:             InitWebDriver.init_extra(fetch)              driver.get(fetch['url'])              # first time will sleep 2 seconds             if InitWebDriver.isFirst:                 time.sleep(2)                 InitWebDriver.isFirst = False              result['url'] = driver.current_url             result['content'] = driver.page_source             result['cookies'] = _parse_cookie(driver.get_cookies())         except Exception as e:             result['error'] = str(e)             result['status_code'] = 599          end_time = datetime.datetime.now()         result['time'] = (end_time - start_time).seconds          # print('result=', result)         return json.dumps(result), 200, {             'Cache': 'no-cache',             'Content-Type': 'application/json',         }   def _parse_cookie(cookie_list):     if cookie_list:         cookie_dict = dict()         for item in cookie_list:             cookie_dict[item['name']] = item['value']         return cookie_dict     return {}   class InitWebDriver(object):     _web_driver = None     isFirst = True      @staticmethod     def _init_web_driver(fetch):         if InitWebDriver._web_driver is None:             options = Options()             # set proxy             if fetch.get('proxy'):                 if '://' not in fetch['proxy']:                     fetch['proxy'] = 'http://' + fetch['proxy']                 proxy = urlparse.urlparse(fetch['proxy']).netloc                 options.add_argument('--proxy-server=%s' % proxy)              # reset headers, for now, do nothing             set_header = fetch.get('headers') is not None             if set_header:                 fetch['headers']['Accept-Encoding'] = None                 fetch['headers']['Connection'] = None                 fetch['headers']['Content-Length'] = None              if set_header and fetch['headers']['User-Agent']:                 options.add_argument('user-agent=%s' % fetch['headers']['User-Agent'])              # disable load images             if fetch.get('load_images'):                 options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})              # set viewport             fetch_width = fetch.get('js_viewport_width')             fetch_height = fetch.get('js_viewport_height')             width = 1024 if fetch_width is None else fetch_width             height = 768 * 3 if fetch_height is None else fetch_height             options.add_argument('--window-size={width},{height}'.format(width=width, height=height))              # headless mode             options.add_argument('--headless')              InitWebDriver._web_driver = webdriver.Chrome(chrome_options=options, port=10001)      @staticmethod     def get_web_driver(fetch):         if InitWebDriver._web_driver is None:             InitWebDriver._init_web_driver(fetch)         return InitWebDriver._web_driver      @staticmethod     def init_extra(fetch):         # maybe throw TimeOutException         driver = InitWebDriver._web_driver         if fetch.get('timeout'):             driver.set_page_load_timeout(fetch.get('timeout'))             driver.set_script_timeout(fetch.get('timeout'))         else:             driver.set_page_load_timeout(20)             driver.set_script_timeout(20)              # # reset cookie             # cookie_str = fetch['headers']['Cookie']             # if fetch.get('headers') and cookie_str:             #     # driver.delete_all_cookies()             #     cookie_dict = dict()             #     for item in cookie_str.split('; '):             #         key = item.split('=')[0]             #         value = item.split('=')[1]             #         cookie_dict[key] = value             #     # driver.add_cookie(cookie_dict)      @staticmethod     def quit_web_driver():         if InitWebDriver._web_driver is not None:             InitWebDriver._web_driver.quit()   if __name__ == '__main__':     app.run('0.0.0.0', 9000)     InitWebDriver.quit_web_driver()  

此实现参考pyspider源码:tornado_fetcher.py和phantomjs_fetcher.js。但是,实现的功能不全,只实现了我需要的功能。诸如:设置cookie, 执行js等并没有实现,您可以参考上面的实现,实现自己的需求。

让pyspider fetcher访问Headless Chrome Web Server

  1. 先启动chrome web server,直接运行:python selenium_fetcher.py即可,端口为9000
  2. 在启动pyspider时,指定--phantomjs-proxy=http://localhost:9000参数,如:pyspider --phantomjs-proxy=http://localhost:9000

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » Pyspider使用Selenium+Chrome实现爬取js动态页面

分享到:更多 ()

评论 抢沙发