text: 语料库与语料库建设
  《语料库与语料库建设》更多相关《语料库与语料库建设(》
  1、语料库和语料库建设一、什么叫语料库1、定义语料库，通俗意义上指的是语言材料库。
  赫努(Renouf)认为语料库是“由大量收集的书面语或口头语构成，并通过计算机储存和处理，用于语言
  语料库具有以下特征:1、语料库的设计与建设有系统的语言学理论指导，语料库的开发具有明确而又具体的目的;如，布朗语料库
  4、语料库以当代先进的计算机技术为技术手段，语料库语料通过电子文本形式储存并
  4、且是通过计算机处理的，具有资源优势和处理速度优势。
  5、基于语料库的研究以量化研究为基石，以概率统计为手段，以数据驱动为基本理念。
  1959年夸克(R.Quirk)等人着手进行的“英语用法调查”(Survey of English Usage)通过系统的调查建立了第一个现代英语语料库，在此基础上完成的现代英语语法(A Grammar ofContempo
  5、rary English)和英语语法大全(A Comprehensive Grammar of the English Language)对现代英语进行了系统全面的描写，在英语语言学界产生了广泛的影响。
  但在当时这项浩大的工程是通过手工的方式完成的。
  20世纪六十年代后，语言学研究主流从经验主义转向理性主义，乔姆斯基的语言能力说被广泛接受，转换生成语法学派批评语料库研究方法，认为，1、基于语料库的方法有误。
  乔姆斯基等认为语言学应当以人脑的语言机制即语言能力为研究对象，语料库收集的只是人们的语言运用，语言运用会因超语言因素的影响而发生变化，它并不能确切的反映语言能力。
  2、语料的不充分性。
  他们认为自然
  6、语言句子的数量是无限的，语料库的规模即使再大也无法穷尽所有可能的句子，因此“任何自然语料都是偏颇的”。
  在此后的长达20年的时间里理性主义在欧美一直占有统治地位，语料库研究一度陷入低谷。
  但在此期间仍有些语言学家凭着非凡的勇气继续不懈地从事语料库研究。
  最早的计算机语料库布朗语料库(Brown Corpus)，1961年由纳尔逊(F. Nelson)和库切拉(H. Kucera)建立。
  布朗语料库容量为100万词，收集了60年代有代表性的美国英语语料，语料选自各种出版物，建库时照顾到了各种文体的平衡，严格按照随机原则抽样，是一个标准语料库。
  布朗语料库是第一个现代语料库，它对于后来的语料库的发展具有重要
  Svartvik开始创建伦敦隆德语料库(LondonLund Corpus)，这两个语料库堪称现代语料库的开山鼻祖。
  语料库研究的迅速发展基于以下三个方面的原因:首先，具有语言学基础。
  在英国语言学研究中，实证主义从弗斯到韩礼德再到辛克莱一直被传承了下来，实证主义的基石是对可观察的对象进行研究，作为人们外部行为的语言运用是可观察的、可靠的依据，而人们内在的语言能力是不可直接观察的，只能通过语用实例进行推断。
  语料库是在随机采样的基础上收集的有代表性的真实语言材料的集合，是语言运用的样本
  如果样本具有代表性，采样具有随机性，且样本的量又足够大，则可以认为样本就是总体的真实代表;样本具有总体的统计特征，研究语料库中的语言材料即近似于研究语言本身。
  二、计算机网络的发展为语料库的发展和应用提供了有利条件。
  首先，大量的文献和文件具有电子文本形式在网上传播，为语料库语料的获得提供了便利条
  9、件;其次，大量语料库成为在线语料库，允许用户在网上实时使用;再者，研究者和用户能够在网上就语料库及时交流经验和看法。
  三、可以共享的语料库索引软件的开发。
  其应用包括传统领域、扩展领域和新兴领域。
  传统领域包括自然语言处理、语法分析和辞典编纂等，扩展领域包括教材的组织编写、机器翻译、语言识别和语言对比;新兴领域包括语言教学、数据驱动语言学习、中间语对比分析研究、多媒体计算机
  10、辅助教学、在线语料库。
  在上述因素促动下，语料库建设迅速发展，相继出现了一批语料库，如，LOB语料库(Lancaster-Oslo-Bergen Corpus)、COBUILD语料库、国际英语语料库(The International Corpus of English，简称ICE)、赫尔辛基历史英语语料库(The Helsinki Corpus of Historical English)及各不同语种、不同用途类型的语料库。
  三、语料库的建设与开发(一)总体设计首先语料库的建设目的要明确，建库的目的决定着语料的选取。
  如由广东外语外贸大学桂诗春教授和上海交通大学杨惠中教授等主持建设的中国学习者英语
  如要建
  12、立的是学习者语料库，要分析的是学生的真实语言能力，就不能把学生抄袭书本的东西收进来。
  (二)具体实施1、语料的搜集现代计算机技术和网络资源使得语料库语料的获得变得方便容易。
  传统的语料库建设，语料输入工作极为浩繁，基本上靠手工键盘输入和扫描输入，费时费力，且容易出现错误，需要校对。
  如今大量的在线语料资源、光盘资料、因特网资源，包括新闻、邮件列表、电子邮件等，使语料库的建设和扩充变得非常快捷方便。
  2、抽样语料库在语料抽样范围和文类覆盖方面都要尽可能取得平衡，要考虑每一文类、体裁、语域、主题类型等的抽样比例。
  乔姆斯基曾经批评语
  13、料库不过是试图用很小的样本代表巨量的甚至无限的实际语言材料，其结果必然存在偏差，缺乏代表性。
  在抽取比例上可根据需要采用平均比例均衡抽样或不等比例的塔式抽样。
  3、语料库的加工文本输入计算机后，一般需要进行一些加工，主要包括语料的标识和语料的赋码。
  1)语
  14、料库的标识标识主要分两类:一类是对文本的性质和特征进行标识，另一类是对文本中的符号、格式等进行标识。
  但不管怎样，保存一份未标识的原文本是很有必要的。
  2)赋码一些研究不需要赋码语料库，而有些研究需要赋码
  15、语料库。
  目前自动
  索引工具的基本功能包括词频统计、词表生成、语篇统计、关键词索引、排序、搭配词统计、词语型式统计、主题词提取、词丛统计、词图统计等等。
  网上提供了一些可以利用的工具软件，包括MicroConcord、Wordsmith Tools、TACT、Concordance 1.1.3、TEC Concordancing Tools具有提供词语索引、搭配词表以及各词语索引行的扩展语境的功能，允许用户把索引结果存储在自己的硬盘上。
  MicroConcord可进行带语境的关键词索引。
  利用它可以观
  18、察关键词所在语篇，获得左右搭配词表。
  Concor
  19、dance除了一般文本索引软件所具有的功能外，其独特之处是能够把索引结果自动生成HTML网页，供在线浏览。
  它是一个独立软件，可利用它对任何语料库文本进行索引分析。
  四、目前语料库发展中存在的问题1、书面语语料库和口语语料库发展不平衡。
  2、语料库的标注和赋码系统在适用性和统一性方面需要进一步的探讨现行的赋码系统一般是基于传统语法中对于词类的分析成果，
  20、不同研究者的分析结果存在一定的分歧，采用任何一种分类方案都可能存在偏颇。
  理想的赋码应是基于语料库自身的统计信息。
  在赋码格式上各语料库也缺乏标准化和统一化。
  3、语料库资源共享困难重重一个语料库的价值应当是与其被利用的程度成正比的关系。
  而目前除了有限的几个语料库能够提供在线索引外，绝大多数已经建成的语料库只在语料库研究者这个小群体中使用，圈外人只闻其名，难见其形，使得花费了大量时间与财力的语料库不能真正实现其价值。
  许多语言研究者只得自己动手建语料库，这种重复建设造成人力物力资源的极大浪费。
  而且语料库只有在使用过程中才能发现问题，不断地加以改进。
  4、语料库工具软件和文本分析软件的开发与语料库的发展不
  21、相适应语料库工具软件包括词类自动赋码和句法分析软件，文本分析软件指与语料库本体相对独立的索引软件。
  目前存在的问题是，各种索引软件重复开发，功能单一，软件的升级速度慢，自由软件少。
  其原因主要是，1)语料库软件开发不像其它计算机软件那样有巨大的商业利益驱动，缺少专业的软件开发人员。
  目前的语料库软件基本上是靠精通计算机编程技术的语言学家研发的，其技术难以跟上计算机技术发展的步伐。
  2)大多数语料库软件研究是靠单独作战，缺少团队合作，所以研发周期长，研发的产品难免滞后。
  解决这些问题需要语言学和计算机等学科之间的密切合作。