神刀安全网

Botify:这款搜索引擎爬虫要让 SEO 顾问失业

Botify:这款搜索引擎爬虫要让 SEO 顾问失业

谷歌搜索引擎的搜索结果排名能决定企业的成败。如果无法出现在最上方的几个搜索结果中,那么你的网站就很难获得持续的流量。

那么,谷歌如何判断,哪些网站应当出现在搜索结果的最上方?谷歌的工具是 Googlebot 爬虫。这一私有的自动化软件能抓取每家网站并编目,而这将成为搜索结果的基础。不过问题在于,这一自动化软件并不透明,因此网站开发者很难针对 Googlebot 或其他搜索引擎爬虫去优化网站。

Botify 瞄准了这一领域。这款基于云计算的爬虫能分析你的网站,并提供可操作、具体的搜索引擎优化(SEO)分析结果。这家来自法国的公司在本周的纽约 Disrupt 大会上启动。到目前为止,该公司 已融资 720 万美元 ,知名客户包括 eBay、BlaBlaCar 和 Expedia。

与数百家其他搜索引擎优化公司相比,Botify 有些不同之处。

首先,这款爬虫很强大。Botify 表示,这款爬虫保持着单个网站抓取最多链接的“世界纪录”,即 1.5 亿个。Botify 还支持网站管理员设置扫描速度,例如每秒 10 个或 200 个页面。为何有些网站希望爬虫的扫描速度放慢?这是由于,Botify 的爬虫在快速扫描的情况下会给网站服务器造成压力。

除了强大的爬虫之外,Botify 还能探测,网站中的哪些页面被谷歌抓取。当谷歌的爬虫抓取某网站时,将会在网站的服务器日志中留下记录。如果网站将这些记录提供给 Botify,那么 Botify 可以将其与自主爬虫的分析结果进行对比,了解谷歌是否扫描了某个具体页面。

  1. Botify:这款搜索引擎爬虫要让 SEO 顾问失业

    screen-shot-2016-05-08-at-7-08-42-pm

  2. Botify:这款搜索引擎爬虫要让 SEO 顾问失业

    screen-shot-2016-05-08-at-7-08-06-pm

  3. Botify:这款搜索引擎爬虫要让 SEO 顾问失业

    screen-shot-2016-05-08-at-7-06-50-pm

  4. Botify:这款搜索引擎爬虫要让 SEO 顾问失业

    screen-shot-2016-05-08-at-7-06-39-pm

  5. Botify:这款搜索引擎爬虫要让 SEO 顾问失业

    screen-shot-2016-05-08-at-7-06-28-pm

  6. Botify:这款搜索引擎爬虫要让 SEO 顾问失业

    screen-shot-2016-05-08-at-7-06-08-pm

该公司联合创始人及 CEO 阿德里恩·梅纳德(Adrien Menard)表示,如果页面没有被谷歌抓取,那么就无法带来任何流量和收入。而被谷歌忽略的页面有着极大的流量和收入潜力。

因此,Botify 利用爬虫的抓取数据为网站制作独特的建议报告。不过与大部分 SEO 顾问不同,Botify 不会让网站增加更多内容,而是专注于“如何组织网站内容,使其更有效”。

这其中包括如何管理内部链接,如何让谷歌的爬虫抓取特定页面,以及如何优化页面缩短加载时间。

这种程度的 SEO 工作可能更适合大网站,而 Botify 也据此制定了定价结构。价格最低的方案是单个爬虫抓取 500 万链接每月价格 500 美元,而企业套餐价格超过每年 1 万美元。

翻译:维金

Botify is an SEO crawler that helps your website optimize for Googlebot

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » Botify:这款搜索引擎爬虫要让 SEO 顾问失业

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址