爬虫这块是我大一的时候学习的内容,因为很久很久没用了,加之最近突然有了这方面的(个人)诉求,于是打算写下来当年没有写的笔记,权当作是一个复习。(我是不是暴露年龄了doge
一、对爬虫基本的认识
爬虫嘛爬虫,顾名思义即网络爬虫,大家可以理解为在网络上爬行的一只蜘蛛,互联网就好像一张大网,而爬虫便是在这张网上爬来爬去的蜘蛛,如果它遇到需要的资源(包括文本、图片和视频…),那么它就会抓取(存储)下来。那么这只蜘蛛抓取什么呢?这就是我们要做的:控制它爬取我们所需要的资源。
我们打个比方:比如我们的网络爬虫在抓取一个网页,在这个网中他发现了一条access(通道),也就是指向其他网页的超链接,那么它就可以爬到另一张网上来获取数据。这样,整个连在一起的大网对这之蜘蛛来说触手可及,分分钟爬下来不是事儿。
我们为什么要做这个东西?
我们先想一下,日常生活中有没有这样的场景:想看的美剧日剧,点开网站后却要充会员才能下载;抑或想给自己换一个桌面图标,看到了好看的图片想要下载,却发现需要付费,毕竟我们支持知识产权是没有问题的,不过有的就太…譬如这网站n天我也不上,一充一个月百八十…血亏,所以在手头紧的时候你总会看到有的“大佬”通过查看网页源代码找到想要的资源的下载链接,直接开心的去下载了…岂不是很香?
所以爬虫在爬取网站时也是类似这样的操作,先根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释后(这么来看浏览器本质也很编译器哦)才呈现出来的,实质它是一段HTML代码,加 JS、CSS,有的博主的比喻很形象:网页就像一个人,HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以对我们来说有价值的部分是存在于HTML中的。
但是作为一个,遵纪守法明礼诚信的良心博主,尤其在今天这个比较特殊的日子——安全教育日,我得说一下,真的不支持大家去做损害他人知识产权的事,更不要盗取他人隐私。所以我们爬虫,明明可以用来实时读取一些什么证券、股票网站的数据(这些数据本身就是公开的),将他们源源不断地列成表格还是什么的,比较直观的形式供我们分析参考;之后进一步:假如你像我一样有一个小小的云服务器,如果有长期爬虫的需求,就可以把他移植到服务器上,这样就可以没日没夜地跑了..
二、开启爬虫之路
1、简单爬取网页信息
我们来看一段代码:
import urllib.request #这是python3内置的HTTP请求库,无需额外安装
# 与2并不一样,函数用法也有区别
response = urllib.request.urlopen("http://www.baidu.com") #百度沦为小白鼠
print (response.read())

首先我们调用的是urllib.request库里面的urlopen方法,传入一个URL,这个网址是百度一下搜索引擎,其采用HTTP协议,当然也可以把HTTP换做其他协议FTP,FILE,HTTPS 等等,这只是代表了一种访问控制协议(对此不明白的去找一找前端的书看一看)。urlopen方法使用中接受三个参数,参数如下:
urlopen(url, data, timeout)
第一个参数url即为URL,第二个参数data是访问URL时要传送的数据,第三个timeout是设置超时时间。
第二三个参数是可以不写的,data默认为空None,timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要写的,例子我们传送了百度的URL,执行urlopen方法之后,返回一个response对象,返回信息便保存在这里面。
print response.read()
response对象有一个比较常用的read方法,可以返回获取到的网页内容。(response的其他完整方法会在文后总结)
如果不加read直接打印,编译器会输出对该对象的描述,所以read必不可省
2、Post和Get数据传送
我们学会了最基本的网页抓取,但现在大多数网站都是动态网页,需要传递参数给它,网站再做出对应的响应(例如登陆注册)。所以这里我们也得…嗯
把数据用户名和密码传送到一个URL,然后你得到服务器处理之后的响应
数据传送分为POST和GET两种方式,两种方式的区别如下:
GET方式是直接以链接形式访问,链接中包含了所有的参数,当然如果包含了密码的话是一种不安全的选择,不过你可以直观地看到自己提交了什么内容。
POST则不会在网址上显示所有的参数,较为安全,不过如果你想直接查看提交数据就不是很直观。
POST方式:
我们传送的数据就是之前提到的参数data,
import urllib.request
import urllib.parse
from urllib.request import urlopen
values = {"username":"eotstxtab@gmail.com","password":"123456"} # 字典
#当然这不是密码,只是用来演示。
data = urllib.parse.urlencode(values).encode('utf-8')
# 提交类型不能为str,需要为byte类型,所以加了.encode()
url = "https://www.zhihu.com/signin?next=%2F" # B乎来做小白鼠
req = urllib.request.Request(url,data)
response = urllib.request.urlopen(req)
print (response.read())

其中字典的构建还可以这样:
values = {}
values['username'] = "123456@gmail.com"
values['password'] = "XXXX"
其余部分完全相同,只是字典构建有不同的方式而已
——————————分割线————————————
GET方式:
我们可以直接把参数写到网址上面,直接构建一个带参数的URL出来即可。
import urllib
import urllib.parse #这行和下一行必须写
import urllib.request
values = {}
values['username'] = "XXX@qq.com"
values['password']="XXXX"
data = urllib.parse.urlencode(values)
url = "https://www.zhihu.com/signin?next=%2F"
geturl = url + "?"+data #这就很灵魂
req = urllib.request.Request(geturl)
response = urllib.request.urlopen(req)
print (response.read())

GET方式如上。
其中可以print geturl,打印输出一下url,发现其实就是原来的url+?+编码。
——————————————华丽丽的分割线————————————
附录——关于urlopen的用法:
urllib.request.urlopen(url,data=None,[timeout,],cafile=None,capath=None,cadefault=False,context=None)
# 请求对象,返回一个HTTPResponse类型的对象,包含的方法和属性:
# 方法:read()、readinto()、getheader(name)、getheaders()、fileno()
# 属性:msg、version、status、reason、bebuglevel、closed
import urllib.request
response=urllib.request.urlopen('https://www.python.org')
# 请求站点获得一个HTTPResponse对象
# print(response.read().decode('utf-8')) #返回网页内容
# print(response.getheader('server')) #返回响应头中的server值
# print(response.getheaders()) #以列表元祖对的形式返回响应头信息
# print(response.fileno()) #返回文件描述符
# print(response.version) #返回版本信息
# print(response.status) #返回状态码200,404代表网页未找到
# print(response.debuglevel) #返回调试等级
# print(response.closed) #返回对象是否关闭布尔值
# print(response.geturl()) #返回检索的URL
# print(response.info()) #返回网页的头信息
# print(response.getcode()) #返回响应的HTTP状态码
# print(response.msg) #访问成功则返回ok
# print(response.reason) #返回状态信息
一直觉得你是个很优秀的人哦。爬虫这块是我唯一勉强能看懂的内容,所以在这里留言。想说,愿你我都能熠熠生辉✨
hhh谢谢夸奖~最近在备考很久没有来自己的站点看一看,发现你的邮箱号搜不到欸…愿你我都会熠熠生辉!⭐