导读：齐宁: 搜索引擎知识-中文分词技术 ,Discuz! 官方站...
中文每个字都可以直接作为一个词来使用，没有断词，正因为此它才多变。虽然多变，但是在表达上灵活。但是对于搜索引擎来说这是非常难以解决的问题。在中文分词当中，有三种难分类型。
1、交集型歧义
假设“ABC”是一个由A、B、C三个汉字构成的字串，如果 “AB”、“BC”都是词，那么计算机在切分时可以把“ABC”切分为“AB/C”，也可以切分为“A/BC”。这种切分歧义称为交集型歧义。
2、组合型歧义
如果“AB”是词、“ABC”也是词，那么产生的切分歧义称为组合型歧义。
3、混和型歧义
混和型歧义是包含交集型歧义和组合型歧义的切分歧义。
目前解决这些问题主要通过字典和统计学的方法。
首先我们先说说字典分词法。字典一般采用前缀树和后缀树的数据存储结构。什么是前缀树呢？其实就是我们把一个句子从左向右扫描一遍，遇到字典里有的词就标识出来，遇到复合词就找最长的词匹配，遇到不认识的字串就分割成单字词，于是简单的分词就完成了。后缀树就是从右向左扫描一遍。
统计学的方法，虽然字典分词已经解决了很多分词上出现的问题。但是面对很多新出的词汇，分词也面临着挑战。统计学的分词方式是基于概念和信息学方面的知识进行处理。基本原理就是寻找那些经常一同出现的字，总是相互的
