Scrapy安裝

在本章中，我們將瞭解如何安裝和設置Scrapy。Scrapy必須與Python一起安裝。

Scrapy可以通過使用 pip 進行安裝。運行以下命令：

pip install Scrapy

Windows系統上安裝(本教程)

在Window系統上安裝Scrapy，是一個比較複雜的事項，在寫本教程的時候，看到網上有人說用了3天時間才裝好，嚇我一跳，不過還好，我也算是比較喜歡折騰的那麼一個人。需要一點點耐心就好。下載文件地址 - http://pan.baidu.com/s/1nv6ObKt

注：Windows操作系統是不支持Python3 的 Scrapy。

從 Python 安裝 Python2.7

添加下面的路徑到PATH設置環境變量：

C:\Python27\;C:\Python27\Scripts\;

您可以通過使用以下命令來檢查Python版本：

python --version
安裝 OpenSSL 或下載地址：http://www.egenix.com/cryptodownload/?file=egenix-pyopenssl-0.13.0_1.0.0g_1.win-amd64-py2.7.msi(重點)
添加 C:\OpenSSL-Win64\bin 在您的系統環境變量中；

注：OpenSSL預裝在所有的操作系統(除了Windows)。
安裝 Visual C++ 2008 再發行組件或Visual C++ 2008 Redistributables 和 Win64 OpenSSL v1.0.1f

安裝 pywin32&amd64
安裝 Python2.7.9 以下的 pip 或者下載地址： https://pypi.python.org/pypi/setuptools#files
您可以通過使用以下命令來檢查 pip 版本：

pip --version
安裝twisted，下載地址 -https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi#md5=c2d453a344f56cf6f77204c5769288c0
安裝 zope 接口：https://pypi.python.org/pypi/zope.interface/4.1.0 選擇倒數第二個 zope.interface-4.1.0.win32-py2.7.exe
安裝 lxml ，版本要選對應系統，錯誤的是用不了的。下載地址： https://pypi.python.org/pypi/lxml/3.2.3
要安裝scrapy，運行以下命令：

pip install Scrapy

成功後，界面長這樣 -
Scrapy安裝

Python的最新版本是預先安裝在Ubuntu操作系統。使用由 Scrapinghub 提供 Ubuntu 的軟件包 apt-get。要使用這些軟件包：

需要輸入用於登錄 Scrapy 包 APT 的 GPG密鑰：

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
接下來，使用下面的命令來創建 /etc/apt/sources.list.d/scrapy.list 文件：

echo 'deb http://archive.scrapy.org/ubuntu scrapy main'| sudo tee /etc/apt/sources.list.d/scrapy.list
更新軟件包列表並安裝scrapy：

sudo apt-get update && sudo apt-get install scrapy

可以使用下面的命令從AUR Scrapy 包安裝 Scrapy：

yaourt -S scrapy

使用下面的命令來安裝 Xcode 命令行工具：

xcode-select--install

而不是使用系統的Python，安裝新的更新版本，不與系統的其餘部分衝突。

安裝homebrew
設置環境變量 PATH 指定 homebrew 包在系統軟件包前使用：

echo "export PATH=/usr/local/bin:/usr/local/sbin:$PATH">>~/.bashrc
變更完成後，重新加載 .bashrc 使用下面的命令：

source ~/.bashrc
接下來，使用下面的命令安裝 Python：

brew install python
接下來，安裝scrapy：

pip install Scrapy