搜索引擎通常由信息收集和信息检索两部分组成。对于英文，由于英文中词
与词之间是用空格隔开，检索起来很方便，故计算机采用了词处理的方式，大大
减轻了用户与计算机的工作量:相对来讲，中文的情形就复杂得多。中文的词与
词之间是没有分隔符的，因此若想建立基于词的索引，就需要专门的技术，这种
技术被称之为“汉语词语切分技术”。根据是否采用词语切分技术，中文搜索引
擎又可分为基于字的搜索引擎和基于词的搜索引擎。由于中文信息处理的特殊
性，开发中文搜索引擎决不像西文软件的汉化那样简单。在实现中文搜索引擎时，
不能照搬国外现成的技术，需要对中文的信息处理技术作专门地研究。自然语言
理解领域的应用已经越来越广，但是几乎任何一个基于汉语的系统，都必须经过
分词这一步。自动分词系统是中文信息处理中的一个主要组成部分，是中文自然
语言理解、文献检索、机器翻译及语音合成系统中最基本的一部分。在搜索引擎
中，为了进行中文信息小型化，需要提取关键知识，也就是说首先要分隔出单个
的中文词语，然后进行词频统计得到关键词。要开发中文搜索引擎，快速的中文
分词算法和可靠的汉化技术是至关重要的。本文将针对中文分词技术及近年来中
文分词技术的发展作一综述。