Advertisement

Centos7 - 安装python3/pip3并测试爬取网页内容

阅读量:

Centos7内默认安装python2.7.5,工程需要的要求,安装Pyhon3 (3.7.2)

安装依赖

复制代码
    yum install gcc openssl-devel bzip2-devel libffi-devel
    
    
      
    
    AI写代码

下载Python 3.7

复制代码
    cd /usr/local/src
    wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz
    
    
      
      
    
    AI写代码

wget没安装时,安装wget

复制代码
    yum install wget
    
    
      
    
    AI写代码

解压文件

复制代码
    tar xzf Python-3.7.2.tgz
    
    
      
    
    AI写代码

安装Python-3.7.2

复制代码
    cd Python-3.7.2
    ./configure --enable-optimizations
    make altinstall
    
    
      
      
      
    
    AI写代码

make altinstall 用来防止取代缺省的python库文件 /usr/bin/python.
删除掉下载的安装文件

复制代码
    rm /usr/src/Python-3.7.2.tgz
    
    
      
    
    AI写代码

确认Python版本

复制代码
    python3.7 -V
    
    
      
    
    AI写代码

执行时,每次都要敲击python3.7 XXX,比较长,修改名字。
确认安装路径

复制代码
    [vagrant@centos7-vbox sample-py]$ which python3.7
    /usr/local/bin/python3.7
    
    
      
      
    
    AI写代码

生成新的simple link

复制代码
    sudo ln -s /usr/local/bin/python3.7 /usr/local/bin/py3
    
    
      
    
    AI写代码

确认效果

复制代码
    [vagrant@centos7-vbox sample-py]$ py3 -V
    Python 3.7.2
    
    
      
      
    
    AI写代码

修改安全路径

root用户的安全路径内,缺省没有上面3.7的安装路径,需要添加进去

复制代码
    sudo visudo
    
    
      
    
    AI写代码

编辑内容

复制代码
    Defaults    secure_path = /sbin:/bin:/usr/sbin:/usr/bin
    ???追加
    Defaults    secure_path = /sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin
    
    
      
      
      
    
    AI写代码

安装python3.7对应的pip

系统中默认安装了2.7对用的pip,需要重新安装3.7对应版本

复制代码
    [vagrant@centos7-vbox sample-py]$ sudo python3.7 -m easy_install pip
    Searching for pip
    Best match: pip 18.1
    Adding pip 18.1 to easy-install.pth file
    Installing pip script to /usr/local/bin
    Installing pip3 script to /usr/local/bin
    Installing pip3.7 script to /usr/local/bin
    
    Using /usr/local/lib/python3.7/site-packages
    Processing dependencies for pip
    Finished processing dependencies for pip
    
    
      
      
      
      
      
      
      
      
      
      
      
    
    AI写代码

pip安装requests模块

复制代码
    sudo pip3 install requests
    
    
      
    
    AI写代码

作成爬取网页的文件

sample.py

复制代码
    # -*- coding:UTF-8 -*-
    import requests
    
    if __name__ == '__main__':
    target = 'http://www.biqukan.com/1_1094/5403177.html'
    req = requests.get(url=target)
    print(req.text)
    
    
      
      
      
      
      
      
      
    
    AI写代码

执行文件

复制代码
    py3 sample.py
    
    
      
    
    AI写代码

可以看到,html文件。

全部评论 (0)

还没有任何评论哟~