在windows下如何新建爬虫虚拟环境和进行Scrapy安装

2019-02-12 09:47

Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

1、关于虚拟环境的创建可以参考之前发布的两篇博文，在Windows下如何创建指定的虚拟环境和在Windows下如何创建虚拟环境（默认情况下）。下面在指定的文件夹下，直接先创建环境，在命令行输入环境创建命令“virtualenv －－python＝C：Python34python．exe scrapy＿demo”，指定Python的版本和路径，以及虚拟环境的名字scrapy＿demo，其中虚拟环境可以自己进行修改，这里命名为scrapy＿demo。

2、尔后进入到scrapy＿demo文件夹下，找到Scripts文件夹，输入activate．bat以激活虚拟环境，步骤如下图所示。之后可以看到scrapy＿demo被括号括起来了，说明进入了环境，在命令行中输入python，可以看到直接弹出Python3的环境。

3、新建完虚拟环境之后，接下来就开始安装Scrapy，输入安装命令“pip install Scrapy”或者“pip install －i https：／／pypi．douban．com／simple／ Scrapy”，后面这个命令是通过豆瓣源镜像进行下载，速度会快很多，而且较为稳定，建议使用该方法进行安装，Python中的其他库也建议用该命令进行安装，十分的方便快捷。输入命令之后，等待Scrapy的安装，如下图所示。

4、可以看到Scrapy的安装速度非常快，因为我们使用了镜像进行下载。不过稍等片刻之后可能会碰到timeout的问题，这是由于Scrapy安装的过程中需要很多依赖包，导致下载过程中会遇到网络延时的问题，此时只需要重新输入安装命令进行安装即可。除了timeout的问题之外，可能还会碰到下图这个问题。

5、这个问题的出现是因为缺乏Twisted依赖包，此时通过“pip install twisted”可能有问题，在Python包网站，里边的Python包专门用于Windows下的安装的。在网页中找到Twisted安装包，然后选择本机Python对应版本和电脑系统位数的安装包，小编的电脑是64位的，而且Python版本是Python3．4，所以下载的包如下图红色框框所示。