|
|
[原创首发]
摘要：汉语信息处理是一门新兴的应用性交叉学科，二十年来该学科的研究取得了很大进展，但仍有一些卡脖子的问题未能解决或解决方案不很理想。本文重点分析了汉语信息处理中出现的“瓶颈”问题，并提出了一些建设性解决方案，希望能对这些问题的最终解决有所启示或帮助。
关键词：汉语信息处理 瓶颈 汉字编码 自动分词 语句自动切分
信息处理是用计算机对文本、声音、图像等信息进行处理。汉语信息处理，就是利用计算机对汉语信息（包括书面的和口头的）进行处理，也叫中文信息处理。汉语信息处理技术对我国社会的信息化进程和信息产业发展具有极其重大的意义。然而汉语信息处理进程中存在各种各样的难题，就目前所遇到的并正在攻关的主要有三大“瓶颈”，即汉字处理、词语处理和语句处理。
一、 汉字处理。
汉语信息处理的开端是由字处理阶段入手的。这个阶段是汉语信息处理所特有的，可以说它是汉语信息处理的第一个“瓶颈”问题。汉字处理中的汉字输入计算机问题是其主要方面，而汉字输入中的汉字键盘输入是技术主攻方面，也是技术难关。
汉字键盘输入遇到的首要问题是汉字“字符集”的确定。用于信息处理的汉字字符集所收字符种数既受实用字数限制又受硬件条件限制。在字频统计基础上，参照有关国际标准，我国在1981年公布了《信息交换用汉字编码字符集。基本集》（GB2312-80），确定了国际交换码，收字6763个，之后又根据需要研制出五个《辅助集》。但是“基本字符集”只能在一定范围内解决现代汉语信息处理对字种的需要，它根本无法满足“全汉字信息处理系统”包括所有使用汉字的国家和地区汉字信息处理的需要。如我国人名地名用字、少数民族用字、其他使用汉字国家用字等很少收入。1992年，中国（大陆和台湾）、日本、韩国共同制定了《CJK统一汉字编码字符集》。但CJK只提供了使三国四方当前的汉字信息处理能够兼容的一个新平台，它对任何一方现实用户来说都存在大量冗余字，会造成系统开销的增加和浪费，而且它也有欠缺，如不能完全适应中文“三古”（古代汉语、古典文学、古籍整理）信息处理的需要。解决对策是一方面要“在现有DOS管理平台上开发单方用户使用的汉字库” ，另一方面研制更大规模的汉字字符集，并加强二者的结合，实现信息的交换和传输。
在输入方法上，汉字编码是核心问题，也是汉语信息处理字处理阶段的热门研究问题。汉字编码类型主要有音码、形码两种。音码是“按汉字的读音将其转换成汉语拼音的声母、韵母或将双字母声母、复合韵母用单字母代替组成的编码” .如智能ABC输入法、微软拼音输入法、全拼输入法等。音码的优点是易学，但存在四个问题：1、重码多。这由汉字中同音字多造成，它导致输入效率低下；2、汉语拼音拼式太长。这也造成效率低下；3、对用户发音要求较高；4、难处理生字。读不出来的字就打不出来。形码是“将汉字分解为部件或笔划，并按照规定的顺序排列，用相应的字母数字符号替代 ，按一定的规则取舍的符号组合” .如郑码输入法、王码五笔型输入法等。形码的优点是重码率低，但也有缺点：1、学习起来较困难，一般需进行专门培训，不常用又容易忘记；2、大多数形码系统对字根的归类，与人们头脑中的汉字认知结构不统一，缺乏规范化；3、拆形输入与人们的思维习惯相左，形成对思维的干扰。这些问题使形码很难在大众中普及。
实践证明，字处理的“瓶颈”与突破无法在字的平面上单独完成，需要借助词处理来解决。
二、 词语处理。
词语处理可说是汉语信息处理的一个新发展阶段，其中自动分词与词性、语义标注是两大难题。
自动分词是“用计算机软件将文本或语音串中的词切开” .书面汉语是以字为单位的，字与字之间有间隔，而词与词之间没有空档作标志。同时，字与词又不是相对应的，一个字有时独立成词，有时只是一个词的组成部分，有时连语素也算不上。我们理解句子实际上是通过词而不是字面，但让计算机正确地进行词切分是十分困难的。首先什么是词什么不是词，这是一个语言学界没有定论的问题，尤其是一些既可单独使用又经常与其它字结合成词使用字如何切分是一个大问题，而机器很难做出正确的判断。中文信息处理界在“七五”期间制定了《信息处理用现代汉语分词规范》，对现代汉语的13类词的分词原则作了详细规定，作为计算机自动分词的规范依据。经过18年的努力，汉语自动分词技术已有较大突破。目前我国已相继推出了十几个自动分词系统，在机械切分的基础上采取了各种不同技术及语言知识规范，正确切分率不断提高。据1995年评测，最高正确率达89.4%.但这种结果距离一个真正意义的高质量的实用化的分词系统还有相当差距。解决这剩余10%的问题比解决纳90%的问题难度大得多，且关键不在计算机技术，而在语言学。
信息自动标注是词处理中又一大难题，它包括汉语词性标注和语义标注。词性自动标注是“利用计算机给语料库中的每个分词赋予一个合适的词性标记” .词性自动标注的难题是词性语义消解。语义自动标注是“计算机利用逻辑运算推理机制，对出现在一定上下文中的词语的义项进行正确判断和标注” .一词多义是一种最常见的的语言现象，但在一定的上下文种，一个词又只能有一种解释。要让缺乏语言知识和生活知识的现阶段的计算机来判定一个多义词在特定句子中的义项相当困难。因此，语义自动标注是世界计算语言学和汉语信息处理的一大难题。词性、语义标注的关键在如何处理兼类词或多义词。与西方语言相比，汉语词性标注主要困难是缺乏形态，词类判定对上下文依赖特别严重。现在一般用统计方法来标注词性，据说可获90%以上正确率，但各个兼类词的消歧效果怎样尚未见具体报道。语义标注难度更大，因为不少多义词的区分度很低，用统计方法作语义标注不易获取适当规模的训练资料，目前还处于实验阶段。
汉语信息处理并不仅仅是汉字输入问题，在机器翻译、自然语言理解、人机对话等领域，都迫切需要根据汉语语法规则来分析把握汉语的语句意义，于是必然发展到对汉语语句处理“瓶颈”的突破。
三、语句处理。
语句处理指以语句为单位进行汉语信息的处理，涉及语与词之间的语法组合规律。现代汉语语法研究相对于信息处理的需要来说无论在理论还是实践方面都是落后一步的。汉语信息处理的许多课题，目前都无法直接从传统语言学理论中找到切合使用的答案，必须认真探索研究。语句处理方面问题很多，最大问题在语句自动分析。
语句分析是自然语言理解的关键技术。自动分析语句在全世界都是一个难题，困难主要在句法歧义问题，汉语句法歧义问题尤为严重。汉语句法、语义灵活，句子语序上词语排列顺序相当自由，句法结构上嵌套结构引起的短语界定困难，汉语时态、语态和语气由于缺乏严格的形式标记而难以辨别，汉语文本中大量省略、指代的句子等等，这些问题使汉语语句分析这一关键技术迟迟未取得突破。语句处理“瓶颈”的根本出路在于创立“汉语语料库语言学”。它是汉语信息处理的一个重要基础和核心，涉及到大规模真实语料库的建立以及词语、语法、语义属性的标注等大量基础研究工作。
从根本上说，要想使计算机项人脑那样工作，就要按照人脑运用语言时的活动机制“武装”计算机。迄今为止，我国人脑科学没有取得可供计算机使用的成果，计算机界和语言学界对人脑科学关心也很不够。当前实际是我们只能集中力量在语言学和计算机科学的结合上下功夫，以期为解决汉语信息处理“瓶颈”问题做出阶段性成绩。然而，当前实际是现代汉语研究与计算机领域的隔绝状态一直未出现根本改变，所以，消除汉语信息处理的“瓶颈”，首要的关键是要汉语言学界和计算机两支队伍紧密联合起来，开展面向汉语信息处理基础研究和应用研究。同时，汉语信息处理需要语言学、数学、认知科学、计算机科学等多学科的相互融合，现在最缺乏的是文理兼通的人才，应加强培养。我们应采取集体攻关的办法，多个单位、多种人才、多种方法互相结合、紧密合作，努力突破汉语信息处理“瓶颈”，促进汉语信息处理技术的发展。
1. 引自《庆祝文集》编委会.庆祝殷焕先生执教五十周年论文集[C].山东:山东大学出版社,1997.P311
2.引自侯敏.计算语言学与汉语自动分析[M].北京:北京广播学院出版社,1999.P89
3. 引自侯敏.计算语言学与汉语自动分析[M].北京:北京广播学院出版社,1999.P89
4.引自陈小荷.中文信息处理概况[J].南京师范大学文学院专报,2002,3（1）.P3
5.引自侯敏.计算语言学与汉语自动分析[M].北京:北京广播学院出版社,1999.P161
6.引自侯敏.计算语言学与汉语自动分析[M].北京:北京广播学院出版社,1999.P162
参考文献：
1.《庆祝文集》编委会.庆祝殷焕先生执教五十周年论文集[C].山东:山东大学出版社,1997.
2.侯敏.计算语言学与汉语自动分析[M].北京:北京广播学院出版社,1999.
3.俞士汶 朱学锋.关于汉语信息处理的认识及其研究方略[J].语言文学应用,2002.（2）.
4.许嘉璐.中文信息处理与现代汉语研究的现状与设想——试论中文信息处理与现代汉语研究[J].中国语文,2000.（6）.
5.陈小荷.中文信息处理概况[J].南京师范大学文学院专报,2002,3（1）.
6.胡明扬.语言学概论[M].北京:语文出版社,2000.
7.苏培成.现代汉字学纲要（增订本）[M].北京:北京大学出版社,2001.
8.林允富.汉字规范化论纲[M].西安:山西师范大学出版社,1999. |
|
发表于 2007-1-21 17:50:12
发表于 2007-1-22 16:14:56
发表于 2007-1-23 00:34:29
