如何运用谷歌浏览器开发者工具，模拟搜索引擎蜘蛛抓取网页

第一步，打开开发者工具

Windows电脑按F12，Mac电脑鼠标右击检查元素。

第二步，依次选择More tool- Network condition

第三步，取消User gent复选框的勾选，并选择Google bot，即Google的蜘蛛，当然也可以自定义，如 Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html) 这是 百度的。

第四步，在当前浏览器中输入 网址，返回开到的即是蜘蛛看到的页面。