百度搜索引擎的中文分词技术

来源：互联网   发布日期：2011-09-19 14:12:53   浏览：20628次  

　　了解搜索引擎分词技术对于我们的SEO工作有着重大的意义，不管是我们的关键词布局还是链接架构，都跟分词有莫大的关联。这里萧涵给大家谈下一百度的中文分词(当然也不局限于百度，其他搜索引擎也是差不多的)。本文分两个部分，首先是摘取已有的关于分词的解释，另外再加入我自己对分词的扩展思路。
　　什么是中文分词?
　　我们都知道，英文句子都是由一个一个单词按空格分开组成，所以在分词方面就方便多了，但我们中文是一个一个汉字连接而成，所以相对来说是比较复杂的。中文分词指的是将一个汉语句子切分成一个一个单独的词，按照一定的规则重新组合成词序列的过程。这个也称做“中文切词”。
　　分词对于搜索引擎有着很大的作用，是文本挖掘的基础，可以帮助程序自动识别语句的含义，以达到搜索结果的高度匹配，分词的质量直接影响了搜索结果的精确度。目前搜索引擎分词的方法主要通过字典匹配和统计学两种方法。
　　一、基于字典匹配的分词方法
　　这种方法首先得有一个超大的字典，也就是分词索引库，然后按照一定的规则将待分词的字符串与分词库中的词进行匹配，若找到某个词语，则匹配成功，这种匹配有分以下四种方式：
　　1、正向最大匹配法(由左到右的方向);
　　2、逆向最大匹配法(由右到左的方向);
　　3、最少切分(使每一句中切出的词数最小);
　　4、双向最大匹配法(进行由左到右、由右到左两次扫描)
　　通常，搜索引擎会采用多种方式组合使用。但这种方式也同样给搜索引擎带来了难道，比如对于歧义的处理(关键是我们汉语的博大精深啊)，为了提高匹配的准确率，搜索引擎还会模拟人对句子的理解，达到识别词语的效果。基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息，当然我们的搜索引擎也在不断进步。
　　二、基于统计的分词方法
　　虽然分词字典解决了很多问题，但还是远远不够的，搜索引擎还要具备不断的发现新的词语的能力，通过计算词语相邻出现的概率来确定是否是一个单独的词语。所以，掌握的上下文越多，对句子的理解就越准确，分词也越精确。举个例子说，“搜索引擎优化”，在字典中匹配出来可能是：搜索/引擎/优化、搜/索引/擎/优化，但经

赞助本站