第十一章 数据海洋和爬虫(1 / 1)

加入书签 本章报错

绝对掌控强烈推荐:

我也不知道!

汤姆奇怪的把手边的另一台机器点开,确实是停了,怎么回事?

刚刚ธ进门,就见方แ厅里已经摆好桌椅,丰ถ盛的菜肴已经准备好。

莫回早早ຉ的下班往家里赶,他非常不放心,万一家里来个小偷什么的,这次奇遇就跟他擦肩而过了,他将再次回到枯燥而单一的生活中去。

爸,你是想修房子吧,需要多少?莫回估摸着,修个房子,换换瓦片草席,刷刷挂白什么的,再加上请人工什么เ的,估计几千块钱๥就足够搞定了。

家里的房子前些天漏雨了,我就想着咱家的房子都用了二十来年了,自打你上学开始就没怎么整修过。

不过什么เ都无法阻挡精英码农那颗探究的心,莫回找出自己้的小工具箱,各种精致的小工具被摆了出来。这都是莫回自己拆服务器,拆主ว机时用的家伙事儿。

哈~~这事有意思了~~莫回砸吧砸吧嘴,有点挠头了。

门被推开,一个西装革履的微胖青年探头进来,醒了啊~~那成,不用我叫你起床了,我命苦,又得去上班了,拜~~

啪!

当面对如此庞大浩é繁的数据海洋时就存在一个ฐ问题๤了,世界这么เ大,我该如何找到目标,比如我想找感冒药相关的数据信息,我该怎么办?

正是这种需求催生了搜索引擎,搜索引擎可以帮助你快速找到เ目标,它就像一个找路指南一样,你只要告诉它想去哪,这个目的地大概什么เ特征,它就会帮助你找到无຀数个可能ม合适的目的地,并且把对方แ的url提供给你。

搜索ิ引擎每天的访问量都是海ร量的,每一秒同时并发的搜索请求都是数以十万计的,在这么多请求面前,如果来一个请求它搜一遍互联网,这肯定是不现实的,不仅速度慢效率低,而且仅仅这类搜索ิ请求就足让整个国际互联网陷入拥堵状态。

为了解决这个问题,搜索ิ引擎就有了它特有的工ื作模式,它先尽可能多的将数据海洋里的信息全部找出来,然后存储在自己的服务器群组中ณ,一旦ຆ有了搜索请求,它只要在自己้的服务器里进行检索就行了。

而帮助搜索ิ引擎完成找这个ฐ动作的就是爬虫。

因为国际互联网中的信息节点都是相互关联的,是网状联系的,每个节点上都会有很多个url。所以爬虫的工作模式就是遍历,当它开始工作时,它会以一个信息节点为ฦ,然后挨个ฐ访寻与这个ฐ节点相连的所有节点,当下一层节点还有url链接时,它就不断访问下去,直到เ将所有url遍历一次才算完。

因为ฦ整个ฐ互联网的网状结构,使它具备网状互通性,所以等爬虫将所有url遍历了,一般来说它就已经将整个国际互联网所有链接全部访问了一遍,这注定是一个比环球旅行更加令人叹为ฦ观止的行为ฦ。

而莫回既然想弄这个股神1้0่,他想要搜集海量数据,那么他要做的事情其实和搜索ิ引擎要做的事情很像,只不过搜索ิ引擎是所有信息都要搜集,而莫回只需要关注股票相关的信息就行了。

这样的话,莫回的爬虫就必须在具备遍历能力的同时,还得具备筛选的能ม力。

遍历的能力解释起来很简单,就是你不能ม走回头路和冤枉路,游历过的url就犯不着再走第二遍了。一条新的url被发现,首先需要判断这条url是否已๐经走过,其次需要判断这条url被安排在什么เ次序去走。一个ฐ是重复性问题,一个是最优化问题,这就需要独特的遍历算法来解决。

而筛选功能ม就是通用爬虫和专用爬虫之ใ间的主要区别ี,莫回的爬虫需要具备一定的识别能ม力,能够辨别ี某个ฐurl中的内容是否具备相关性,如果不具备那么就跳过,如果具备就将其中的内容复制回来待用。

这个ฐ筛选功能同样需要一大堆的算法来解决,不仅如此,它还需要具备自然语言处理能力,就是说它得具备对语言文字的理解和解析的能力,它得能够识别哪些文字内容是与股票相关的,哪些是无用的。

仅仅识别文字还是不够的,它还得能ม够识别其他格式的数据,比如它得能够识别ี图案,像是股票相关的各种k线图柱状图之类的,爬虫必须ี能够将其与风景画或者自拍照区别ี开。

除了图片,其他的像是视频音频各类数据库之类的,爬虫都需要一一辨别出来,确定是否属于相关内容。

这里面将会有无຀数个技术难题๤需要解决,如果这个工ื作让莫回一个人来完成,几乎是不可想象的。

↑返回顶部↑

书页/目录

绝对掌控