当前所在位置: 匠子生活 > 数码 > 正文

网络爬虫是什么

2021-07-15 17:25:59 匠子生活

网络爬虫又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

扩展资料

网络爬虫是一个自动提取网页的程序,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂,需要根据一定的网页分析算法过滤与主题无关的链接,保留有用的链接并将其放入等待抓取的URL队列。

然后,它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL,并重复上述过程,直到达到系统的某一条件时停止。另外,所有被爬虫抓取的网页将会被系统存贮,进行一定的分析、过滤,并建立索引,以便之后的查询和检索;对于聚焦爬虫来说,这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

阅读全文
相关推荐

icloud有什么作用

icloud有什么作用
icloud是苹果设备自带的存储服务,可以将照片、密码、个人信息以及其他数据妥善地储存在云端,并可保证这些数据在所有设备上可以自动更新,还可以使用icloud来备份 iPhone、iPad等苹果设备,并且可以跟朋友和家人一起共享icloud的信息。

淘宝怎么查看别人买了什么

淘宝怎么查看别人买了什么
在淘宝想看别人买了什么,可以在淘友圈进行查看,以淘友圈为例,具体操作步骤如下:

微信能转发语音吗

微信能转发语音吗
微信是不可以转发语音的,只能收藏语音但不能转发收藏的语音,收藏语音的具体步骤如下:

苹果微信语音铃声怎么设置

苹果微信语音铃声怎么设置
苹果微信可以进入新消息通知页面,点击“来电铃声”选项,来设置语音铃声,具体操作步骤如下:

苹果开勿扰模式闹钟会响吗

苹果开勿扰模式闹钟会响吗
苹果手机在开启勿扰模式的情况下,闹钟还是会响的,是不能被静音处理的,若要关闭勿扰模式,步骤如下:

苹果13可以截长图吗

苹果13可以截长图吗
苹果13可以截长图,但是只能在手机自带的Safari浏览器中进行截长图,具体操作步骤如下:

iPhone11横屏竖屏在哪设置

iPhone11横屏竖屏在哪设置
苹果11横屏竖屏可以在屏幕控制中心页面进行设置,具体操作步骤如下:

水准仪和经纬仪的区别

水准仪和经纬仪的区别
区别:1、功能不同:水准仪主要是用来测量标高和打水平用的。而经纬仪主要是用来测量水平角和垂直角的。2、操作方式不同:水准仪只能左右拧,而经纬仪既能左右拧又能上下拧。

抖音怎么让别人看不到我浏览过

抖音怎么让别人看不到我浏览过
抖音要让别人看不到自己浏览过,可以将“作品浏览记录”和“主页访客记录”关闭,具体操作步骤如下:

苹果6要怎么分屏两个应用

苹果6要怎么分屏两个应用
苹果6是不能分屏两个应用的,但只要打开“自动开启画中画”功能,以在网易云音乐开启功能为例,就可以在看视频或者视频通话时返回主屏幕打开画中画窗口,以开启画中画为例,具体操作步骤如下: