编程零基础学python爬虫教程1-环境配置

一、环境配置

1、下载安装python3

请下载对应系统的最新版3.0以上版本。python 2.0会在2020年停止维护,请大家使用最新版3.0安装;

 

说明:mac会自带安装python2,此处我们是单独安装的3.0以上版本。

 

安装完成后,在终端输入python3,显示如下则表示安装成功。

lihongtaodeMacBook-Pro:~ lihongtao$ python3

Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 26 2018, 23:26:24)

[Clang 6.0 (clang-600.0.57)] on darwin

Type “help", “copyright", “credits" or “license" for more information.

安装成功后,系统会生成2个应用图标:IDLE、Python Launcher;

常用命令说明:

1.终端输入python3,则进入python3编辑模式;

2.终端输入命令quit()或 exit(),则表示退出python3编辑模式;

IDLE是python软件包自带的一个集成开发环境,初学者可以利用它方便的创建、运行、测试和调试python程序。

2、安装requests库和lxml库

安装的时候请耐心等待

python3已经自带安装pip3,确保输入命令quit()退出python3命令前提下,分别输入以下命令安装库;

pip3 install requests

pip3 install lxml

输入命令需要等待10秒左右,看安装进度。

 

2.1 手动安装requests

若命令方式安装失败,可以手动下载文件进行安装;

来源1:https://github.com/requests/requests

来源2:http://docs.python-requests.org/en/latest/user/install/#install

另一个参考:https://www.cnblogs.com/fun0623/p/8404411.html

下载文件解压得到requests文件夹(文件夹名称可能是长一些的)。将该文件复制到python3.7安装目录下,执行cd命名,进入requests文件夹,安装库;

命令:

输入cd 然后拖拽requests文件夹到终端,回车,表示进入到requests文件夹下。

执行命令:pip install . (这里有个点)

 

最后会有如下提示:

Successfully installed certifi-2018.4.16 chardet-3.0.4 idna-2.6 requests-2.18.4 urllib3-1.22

验证安装成功,打开IDLE,输入命令:

import requests
没有报错,即为成功。


2.2 手动安装lxml
下载对应python3.7版本的lxml
https://pypi.org/project/lxml/#files

然后在命令行输入
pip3 install /Users/blue/Downloads/lxml-4.2.3-cp37-cp37m-manylinux1_i686.whl

进展:
1.通过安装wheel后,安装lxml失败。
https://www.jianshu.com/p/67b3110ac0d6
2.单独下载lxml文件安装,也失败;
https://blog.csdn.net/weixin_37867737/article/details/76762171
参考:
https://blog.csdn.net/priestmoon/article/details/8195807

爬虫教程:
https://blog.csdn.net/mtbaby/article/details/79164234

技术python

Posted by Gauin