Web Scraper教程

Web Scraper分为chrome插件和云服务两种形态，云服务是收费的，chrome插件是免费的，我们这篇教程说的就是chrome插件这种。

Web Scraper是干嘛的

Web Scraper的用处就是通过chrome浏览器来抓取网页数据(比如豆瓣帖子，京东商品信息，网易新闻等)，不需要你懂技术，不需要你写爬虫程序，可以让你像配置软件一样配置就好可以抓取了。
老猿这篇文章试图从零开始教你安装配置，然后运行起来抓取数据，到导出数据到本地。

Web Scraper使用条件
你得有一个chrome浏览器，Web scraper是通过插件安装在chrome浏览器上的。

Web Scraper的特点

一、优点
1.可以抓取动态加载的数据，比如通过ajax翻页的数据
2.抓取的数据可以CSV文件格式导出到本地。csv文件你可以直接使用excel打开的
3.抓取需要登录的数据较方便，因为这个插件是运行在浏览器上的。
4.只要抓取频率慢一点，被网站屏蔽的概率较小，也因为是浏览器的原因，这就像是真实的用户访问一样。

二、缺点
1.抓取效率较低，相对于爬虫程序来说，Web scraper没法大并发，快速切换IP等，所以大量级的数据抓取用Web Scrpaer不适合，慢慢抓大几千网页还是可以。
2.安装Web Scraper麻烦，对于咱们国人来说，安装chrome插件需要到墙外安装。不过也有好心人把这个插件放在墙里了，就是不是最新版。

Web Scraper安装

第一种安装方式：
如果你墙里墙外来去无阻，那就用这种方式直接在chrome浏览器里安装。

步骤1：用chrome浏览器打开这个链接。
步骤2：打开后在左边红框处 输入 Web Scraper，然后按回车键。如下图：

步骤3：在随后出现的界面找到Web Scraper，点击 添加至Chrome。如下图：

步骤4：这时会弹出 是否要添加”Web Scraper”对话框，点击添加扩展程序，稍等几秒后，就安装成功了，安装成功后你会看到像截图一样，页面右上方有一个Web Scraper插件图标。如下图：

第二种安装方式：
如果你只能在墙内游玩，可以这样离线安装Web Scrpaer插件。
步骤1：从这个云盘下载安装文件。(版本更新于2018年8月)
链接地址
提取码: jfgx
记住你下载文件的位置，后面还要用。

步骤2：下载完成后，在chrome浏览器里输入如下 chrome://extensions/ 进入到插件程序界面。如下图：

步骤3：按照步骤2图标红处，勾选 开发者模式。
步骤4：打开你刚才下载文件的目录。如下图：

把 web-scraper-0.3.8_0.crx文件用鼠标拖拽到chrome浏览器里，会弹出是否要添加，点击添加扩展程序，浏览器右上角也会出现 Web Scraper的图标，表示安装成功。如下图：

未完待续。。。

Web Scraper系列文章：

Web Scraper简单配置方法

Web Scraper工作原理

Web Scraper如何翻页

我的公众号：猿人学 Python 上会分享更多心得体会，敬请关注。

***版权申明:若没有特殊说明，文章皆是猿人学 yuanrenxue.con 原创，没有猿人学授权，请勿以任何形式转载。***