来客旗下网站:来客网站设计
服务热线:18106308119(微信)联系我们支付方式

威海网站建设,威海网络公司

SEO优化技术

搜索引擎索引系统概述(一)

DATE:2013-11-04 07:49:02
众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的
标签:

 众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。过去几周给大家介绍了抓取相关的简要过程。今天简要介绍一下索引系统,以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失。怎样才能达到这种要求呢?

如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交。这样,在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程:

      (1)页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等;

      (2)分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等;

      (3)之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},可以粗略的理解为如下,为什么是【term->doc】,而不是直接应用【doc->term】呢?

上述即是索引系统中的倒排索引过程,是搜索引擎实现毫秒级检索非常重要的一个环节。

大家对索引系统有什么样的问题也欢迎向lee进行提问,lee将会向大家一一进行解答。


原文内容来源于:http://zhanzhang.baidu.com/wiki/219

提交需求告诉我们您的求,我们会在24小时内与您联得联系,资料会保密!

服务项目
高端网页设计定制
移动应用设计开发
网络营销推广
成功案例
最新案例
网站建设
移动营销
网络营销
网店装修
客户名录
关于来客
公司简介
公司新闻
联系我们
在线问答
解决方案
网站建设
电商运营
移动营销
网络营销
站长博客
网页设计
手机网站
网站优化
天猫装修

电话:18106308119  邮箱:19767526@qq.com

© Copyright 2010-2015来客网站设计工作室保留所有权利    鲁ICP备20030915号-2

站点地图|