400-616-5551

您所在位置: 首页> 学习课程> python培训 | Python 基础编写基于浏览器爬虫

python培训 | Python 基础编写基于浏览器爬虫

发布百知教育 来源:学习课程 2020-02-21

前言

爬虫程序分很多种,有指定区域 文字 图片 内容 爬取,有通过某引擎进行爬取大数据,下面简单的介绍下通过搜索引擎来进行关键词爬取数据

功能代码结构

  1.主代码    2.配置文件    3.支持库正文

先来看一下代码


此处 必应调用的方式是,如下图:


Python培训班



https://cn.bing.com/search?q=1&qs=n&form=QBLH&sp=-1&pq=1&sc=8-1&sk=&cvid=9F6D9AA507274620BE1

python培训班




这个是需要的参数,也是必要的,通过先搜索随机数之后取该接口 以及 参数 参数值

如果只是爬取这一个页面就不需要这样做了,但是我们爬取的是大数据,所以这个地方是要取 下一页的元素


python培训班


置响应代码,好让代码去自动处理下一页的关系。

继续看:


python培训班


这个地方找的是 我们一个配置文件 ,在最开始我们都有定义

Self.out ,相当于过滤,不对self.out 内的 内容进行搜索,这个地方就相当于在调用这个 config.json 这个配置文件


5.png



编写json配置文件:


python培训班




先总合上面,是不是这一个基本的模块就很清楚了,说的简单点 ,就是 我先定义 然后调用搜索接口,然后去调用并判断这个配置文件

继续往下走!


python培训班

模拟请求头 ,这个就好比是一个标识,比如模拟手机的 谷歌的 火狐的 等等。

下面就是逻辑判断

python培训班



上诉总结:

其实很简单,我们把他集合并分解就是--该程序是通过必应搜索去进行搜索关键词,对搜索到的关键词取url 连接,结果并以txt 文本的方式去进行保存,我们所需要的是在 config.json 这个配置文件里面填写想要的爬行的关键词

代码简单阐述:

先定义需要使用的函数 ,通过函数去进行判断 配置文件,并模拟 inter 请求,去进行进行之后,使用函数对其进行判断所爬出的结果,取域名地址,保存到文本进程完结

相关代码:

其实我们只要注意以下几点,就可以完全做到编写简单的爬虫程序:

1:程序框架 (制定程序框架,要知道这个程序是做什么的 需要什么东西) 2:按需编写 (先对其进行定义,根据所定义的去进行编写,每定义一个,编写一个,这样会减少错误率)

python培训班:http://www.baizhiedu.com/python2019

注释:本文内容来自重生信息安全 






上一篇:大数据培训班 | 携程机票数据仓库建设之路

下一篇:it培训班出来的学员怎么样?IT培训学校好么?

相关推荐

关闭

立即申请

www.baizhiedu.com