【百度站长平台】搜索引擎索引系统概述
发布日期:2015/5/27 15:59:06
众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?
 
如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:
 
【百度站长平台】搜索引擎索引系统概述
 
(1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等;
 
(2)分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等;
 
(3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc】,而不是直接应用【doc->term】呢?
 
【百度站长平台】搜索引擎索引系统概述
 
上述即是索引系统中的倒排索引过程,pk10高手论坛:是搜索引擎实现毫秒级检索非常重要的一个环节。
北京赛车pk10技巧分析 全天pk10计划数据 北京赛车pk10杀码技巧 北京pk10 手工5码演算 pk10计划q948733
微信公众号pk10源码 易算pk10破解版 北京赛车pk10全网最快开奖现场直播 神话娱乐赛车pk10手机博彩 北京赛车pk10到几点
北京赛车全天.免费计划 北京赛车pk10如何止损 pk10北京赛车开奖记录 北京赛车不倍投怎么玩 北京赛车pk10开奖直播手机版
1396go皇家彩世界 赛车pk玩法走势教学 北京赛车pk10六码技巧 北京pk10计划网页 北京pk10手机计划软件
贵州11选5昨天开奘结果 福建体彩31选7今天开奖 足彩15129期,足彩,足彩四场进球缩水,足彩15145期冷门分析 幸运飞艇开奖直播计划★幸运飞艇计划★幸运飞艇开奖直播计划★幸运飞艇开奖直播 安徽快3开奖视频
秒速时时彩开奖走势图 比分直播 七乐彩开奖时间 福建快三走势图一定 百家四注乐公式
江西时时彩杀号软件 湖北快3基本走势图分布图 浙江快乐12手机版下载 泳坛夺金任选2计划 1足球比分推荐,足球场地尺寸,足球小子欧洲篇,pptv足球直播,陕西足球
青海快三时时彩 江苏十一选五分布图 澳门赌场攻略 彩票论坛群 黑龙江11选5最大遗漏