爬虫01-python3-入门&urllib基本使用

爬虫这块是我大一的时候学习的内容，因为很久很久没用了，加之最近突然有了这方面的（个人）诉求，于是打算写下来当年没有写的笔记，权当作是一个复习。（我是不是暴露年龄了doge

一、对爬虫基本的认识

爬虫嘛爬虫，顾名思义即网络爬虫，大家可以理解为在网络上爬行的一只蜘蛛，互联网就好像一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛，如果它遇到需要的资源（包括文本、图片和视频…），那么它就会抓取（存储）下来。那么这只蜘蛛抓取什么呢？这就是我们要做的：控制它爬取我们所需要的资源。

我们打个比方：比如我们的网络爬虫在抓取一个网页，在这个网中他发现了一条access（通道），也就是指向其他网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事儿。

我们为什么要做这个东西？

我们先想一下，日常生活中有没有这样的场景：想看的美剧日剧，点开网站后却要充会员才能下载；抑或想给自己换一个桌面图标，看到了好看的图片想要下载，却发现需要付费，毕竟我们支持知识产权是没有问题的，不过有的就太…譬如这网站n天我也不上，一充一个月百八十…血亏，所以在手头紧的时候你总会看到有的“大佬”通过查看网页源代码找到想要的资源的下载链接，直接开心的去下载了…岂不是很香？

所以爬虫在爬取网站时也是类似这样的操作，先根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释后（这么来看浏览器本质也很编译器哦）才呈现出来的，实质它是一段HTML代码，加 JS、CSS，有的博主的比喻很形象：网页就像一个人，HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以对我们来说有价值的部分是存在于HTML中的。

但是作为一个，遵纪守法明礼诚信的良心博主，尤其在今天这个比较特殊的日子——安全教育日，我得说一下，真的不支持大家去做损害他人知识产权的事，更不要盗取他人隐私。所以我们爬虫，明明可以用来实时读取一些什么证券、股票网站的数据（这些数据本身就是公开的），将他们源源不断地列成表格还是什么的，比较直观的形式供我们分析参考；之后进一步：假如你像我一样有一个小小的云服务器，如果有长期爬虫的需求，就可以把他移植到服务器上，这样就可以没日没夜地跑了..

二、开启爬虫之路

1、简单爬取网页信息

我们来看一段代码：

import urllib.request #这是python3内置的HTTP请求库，无需额外安装
# 与2并不一样，函数用法也有区别
 
response = urllib.request.urlopen("http://www.baidu.com") #百度沦为小白鼠
print (response.read())

首先我们调用的是urllib.request库里面的urlopen方法，传入一个URL，这个网址是百度一下搜索引擎，其采用HTTP协议，当然也可以把HTTP换做其他协议FTP,FILE,HTTPS 等等，这只是代表了一种访问控制协议（对此不明白的去找一找前端的书看一看）。urlopen方法使用中接受三个参数，参数如下：

urlopen(url, data, timeout）

第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。

第二三个参数是可以不写的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT

第一个参数URL是必须要写的，例子我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

print response.read()

response对象有一个比较常用的read方法，可以返回获取到的网页内容。(response的其他完整方法会在文后总结）

如果不加read直接打印，编译器会输出对该对象的描述，所以read必不可省

2、Post和Get数据传送

我们学会了最基本的网页抓取，但现在大多数网站都是动态网页，需要传递参数给它，网站再做出对应的响应（例如登陆注册）。所以这里我们也得…嗯

把数据用户名和密码传送到一个URL，然后你得到服务器处理之后的响应

数据传送分为POST和GET两种方式，两种方式的区别如下：

GET方式是直接以链接形式访问，链接中包含了所有的参数，当然如果包含了密码的话是一种不安全的选择，不过你可以直观地看到自己提交了什么内容。

POST则不会在网址上显示所有的参数，较为安全，不过如果你想直接查看提交数据就不是很直观。

POST方式：

我们传送的数据就是之前提到的参数data，

import urllib.request
import urllib.parse
from urllib.request import urlopen

values = {"username":"eotstxtab@gmail.com","password":"123456"} # 字典
#当然这不是密码，只是用来演示。
data = urllib.parse.urlencode(values).encode('utf-8') 
# 提交类型不能为str，需要为byte类型，所以加了.encode()
url = "https://www.zhihu.com/signin?next=%2F" # B乎来做小白鼠
req = urllib.request.Request(url,data)
response = urllib.request.urlopen(req)
print (response.read())

其中字典的构建还可以这样：

values = {}
values['username'] = "123456@gmail.com"
values['password'] = "XXXX"

其余部分完全相同，只是字典构建有不同的方式而已

——————————分割线————————————

GET方式：

我们可以直接把参数写到网址上面，直接构建一个带参数的URL出来即可。

import urllib
import urllib.parse #这行和下一行必须写
import urllib.request

values = {}
values['username'] = "XXX@qq.com"
values['password']="XXXX"
data = urllib.parse.urlencode(values) 
url = "https://www.zhihu.com/signin?next=%2F"
geturl = url + "?"+data #这就很灵魂
req = urllib.request.Request(geturl)
response = urllib.request.urlopen(req)
print (response.read())

GET方式如上。

其中可以print geturl，打印输出一下url，发现其实就是原来的url+?+编码。

——————————————华丽丽的分割线————————————

附录——关于urlopen的用法：

urllib.request.urlopen(url,data=None,[timeout,],cafile=None,capath=None,cadefault=False,context=None)

# 请求对象，返回一个HTTPResponse类型的对象，包含的方法和属性：

# 方法：read()、readinto()、getheader(name)、getheaders()、fileno()

# 属性：msg、version、status、reason、bebuglevel、closed

import urllib.request

response=urllib.request.urlopen('https://www.python.org')  
# 请求站点获得一个HTTPResponse对象
# print(response.read().decode('utf-8'))   #返回网页内容
# print(response.getheader('server')) #返回响应头中的server值
# print(response.getheaders()) #以列表元祖对的形式返回响应头信息
# print(response.fileno()) #返回文件描述符
# print(response.version)  #返回版本信息
# print(response.status)  #返回状态码200，404代表网页未找到
# print(response.debuglevel) #返回调试等级
# print(response.closed)  #返回对象是否关闭布尔值
# print(response.geturl()) #返回检索的URL
# print(response.info()) #返回网页的头信息
# print(response.getcode()) #返回响应的HTTP状态码
# print(response.msg)  #访问成功则返回ok
# print(response.reason) #返回状态信息