神刀安全网

OpenNLP:驾驭文本,分词那些事

作者 白宁超

2016年3月27日19:55:03

摘要:字符串、字符数组以及其他文本表示的处理库构成大部分文本处理程序的基础。大部分语言都包括基本的处理库,这也是对文本处理或自然语言处理的前期必要工作。典型代表便是分词、词性标注、句子识别等等。本文所介绍的工具主要针对英文分词,对于英文分词工具很多,笔者经比较Apache OpenNLP效率和使用便捷度较好。另外其针对Java开发提供开源的API。开篇简介OpenNLP的情况,随后介绍6种常用模型,最后针对每种模型的使用和Java实现进行总结。部分笔者可能质疑那么中文分词怎么办?随后篇章会单独介绍中科院研究团队基于隐马尔可夫模型开发的中文分词工具NLPIR(ICTCLA)。内容经过多篇文档和书籍整理汇编,代码经运行无误。( 本文原创,转载请标明出处OpenNLP:驾驭文本,分词那些事

1 什么是OpenNLP,其具有哪些"内功"?

OpenNLP是为何物?

维基百科: Apache   OpenNLP 库是一个基于 机器学习 自然语言 文本处理的 开发工具包 ,它支持自然语言处理中一些共有的任务,例如: 标记化 句子分割 词性标注 固有实体提取 (指在句子中辨认出专有名词,例如:人名)、 浅层分析 句字分块 )、 语法分析 指代 。这些任务通常都需要较为先进的文字处理服务功能。

官方文档 Apache的OpenNLP库是自然语言文本的处理基于机器学习的工具包。它支持最常见的NLP任务,如断词,句子切分,部分词性标注,命名实体提取,分块,解析和指代消解。这些任务通常需要建立更先进的文字处理服务。OpenNLP还包括最大熵和基于感知机器学习。该OpenNLP项目的目标是创造上述任务的成熟工具包。一个附加的目的是提供一种大量预建模型为各种语言,以及这些模型衍生自注释文本资源。

使用:其支持Windows、linux等多个操作系统,本文主要介绍Windows下:

1 命令行界面(CLI): OpenNLP脚本使用JAVA_CMD和JAVA_HOME变量,以确定哪些命令用来执行Java虚拟机。OpenNLP脚本使用OPENNLP_HOME变量来确定OpenNLP的二进制分发的位置。建议这个变量指向当前OpenNLP版本和更新PATH变量的二进制分发版包括 $OPENNLP_HOME/bin or %OPENNLP_HOME%/bin 这样的配置允许方便调用OpenNLP。下面的例子假设这个配置已经完成。使用如下:

$ opennlp ToolName lang-model-name.bin < input.txt > output.txt
当工具被执行这种方式,模型是装载和工具正在等待来自标准输入的输入。此输入处理,并打印到标准输出。

2 Java在控制台:进行其API的调用,以下代码演示均采用此法。

2 句子探测器

功能介绍:该OpenNLP句子探测器可以检测到一个标点符号标志着一个句子的结尾与否。在这个意义上一个句子被定义为最长空白修整的标点符号之间的字符序列。第一和最后一句作出例外。第一个非空白字符被假定为开始一个句子,以及最后的非空白字符被假定为一个句子端。下面的示例文本应该分割成它的句子。

API: 句子探测器还提供了一个API来培养一个新的句子检测模型。三个基本步骤是必要的训练它:

  • 应用程序必须打开一个示例数据流

  • 调用SentenceDetectorME.t rain方法

  • 保存SentenceModel到文件或直接使用它

代码实现:

/**   * 1.句子探测器:Sentence Detector    * @deprecated Sentence detector is for detecting sentence boundaries. Given the following paragraph:   * Hi. How are you? This is Mike.   * 如:Hi. How are you? This is Mike.将返回如下:   * Hi. How are you?    * This is Mike.   * @throws IOException    * @throws InvalidFormatException    */  public static void SentenceDetector(String str) throws InvalidFormatException, IOException  {   //always start with a model, a model is learned from training data   InputStream is = new FileInputStream("./nlpbin/en-sent.bin");   SentenceModel model = new SentenceModel(is);   SentenceDetectorME sdetector = new SentenceDetectorME(model);      String sentences[] = sdetector.sentDetect(str);      System.out.println(sentences[0]);   System.out.println(sentences[1]);   is.close();   System.out.println("---------------1------------");  }

运行结果:

OpenNLP:驾驭文本,分词那些事

3 标记生成器

功能介绍:该OpenNLP断词段输入字符序列为标记。符号通常是词语,标点符号,数字等OpenNLP提供多种标记生成器的实现:

  • 空白标记生成器 – 一个空白标记生成器,非空白序列被确定为符号

  • 简单的标记生成器 – 一个字符类标记生成器,同样的字符类的序列标记

  • 可学习标记生成器 – 一个最大熵标记生成器,检测基于概率模型符号边界

AP I:的断词可以被集成到由定义的API的应用程序。该WhitespaceTokenizer的共享实例可以从静态字段WhitespaceTokenizer.INSTANCE进行检索。该SimpleTokenizer的共享实例可以在从SimpleTokenizer.INSTANCE相同的方式进行检索。实例化TokenizerME(中可以学习标记生成器)符号模型必须先创建。

代码实现:

/**   * 2.标记生成器:Tokenizer   * @deprecated Tokens are usually words which are separated by space, but there are exceptions.  For example, "isn't" gets split into "is" and "n't, since it is a a brief format of "is not". Our sentence is separated into the following tokens:   * @param str   */  public static void Tokenize(String str) throws InvalidFormatException, IOException {   InputStream is = new FileInputStream("./nlpbin/en-token.bin");   TokenizerModel model = new TokenizerModel(is);   Tokenizer tokenizer = new TokenizerME(model);   String tokens[] = tokenizer.tokenize(str);   for (String a : tokens)    System.out.println(a);   is.close();   System.out.println("--------------2-------------");  }

运行结果:

OpenNLP:驾驭文本,分词那些事

4 名称搜索

功能介绍:名称查找器可检测文本命名实体和数字。为了能够检测实体名称搜索需要的模型。该模型是依赖于语言和实体类型这是训练。所述OpenNLP项目提供了许多这些各种免费提供的语料库训练有素预训练名取景模式。他们可以在我们的模型下载页进行下载。要查找原始文本的文本必须分割成符号和句子的名字。详细描述中的一句话探测器和标记生成器教程中给出。其重要的,对于训练数据和输入的文本的标记化是相同的。

API: 从应用程序中训练名字发现者的建议使用培训API而不是命令行工具。三个基本步骤是必要的训练它:

  • 应用程序必须打开一个示例数据流

  • 调用NameFinderME.t rain方法

  • 保存TokenNameFinderModel到文件或数据库

代码实现:

/**   * 3.名称搜索:Name Finder   * @deprecated By its name, name finder just finds names in the context. Check out the following example to see what name finder can do. It accepts an array of strings, and find the names inside.   * @param str   */  public static void findName() throws IOException {   InputStream is = new FileInputStream("./nlpbin/en-ner-person.bin");   TokenNameFinderModel model = new TokenNameFinderModel(is);   is.close();   NameFinderME nameFinder = new NameFinderME(model);   String[] sentence = new String[]{        "Mike",        "Tom",        "Smith",        "is",        "a",        "good",        "person"        };   Span nameSpans[] = nameFinder.find(sentence);   for(Span s: nameSpans)    System.out.println(s.toString());    System.out.println("--------------3-------------");  }

运行结果:

OpenNLP:驾驭文本,分词那些事

5 POS标注器

功能介绍:语音标记器的部分标记符号与基于符号本身和符号的上下文中它们的相应字类型。符号可能取决于符号和上下文使用多个POS标签。该OpenNLP POS标注器使用的概率模型来预测正确的POS标记出了标签组。为了限制可能的标记的符号标记字典可以使用这增加了捉人者的标记和运行时性能。

API: 部分的词类打标签训练API支持一个新的POS模式的培训。三个基本步骤是必要的训练它:

  • 应用程序必须打开一个示例数据流

  • 调用POSTagger.train方法

  • 保存POSModel到文件或数据库

代码实现:

/**   * 4.POS标注器:POS Tagger   * @deprecated Hi._NNP How_WRB are_VBP you?_JJ This_DT is_VBZ Mike._NNP   * @param str   */  public static void POSTag(String str) throws IOException {   POSModel model = new POSModelLoader().load(new File("./nlpbin/en-pos-maxent.bin"));   PerformanceMonitor perfMon = new PerformanceMonitor(System.err, "sent");//显示加载时间   POSTaggerME tagger = new POSTaggerME(model);   ObjectStream<String> lineStream = new PlainTextByLineStream(new StringReader(str));   perfMon.start();   String line;   while ((line = lineStream.read()) != null) {    String whitespaceTokenizerLine[] = WhitespaceTokenizer.INSTANCE.tokenize(line);    String[] tags = tagger.tag(whitespaceTokenizerLine);    POSSample sample = new POSSample(whitespaceTokenizerLine, tags);    System.out.println(sample.toString());    perfMon.incrementCounter();   }   perfMon.stopAndPrintFinalResult();   System.out.println("--------------4-------------");  }

运行结果:

OpenNLP:驾驭文本,分词那些事

6 细节化

功能介绍:文本分块由除以单词句法相关部分,如名词基,动词基的文字,但没有指定其内部结构,也没有其在主句作用。

API: 该概括化提供了一个API来培养新的概括化的模式。下面的示例代码演示了如何做到这一点:

代码实现:

/**   * 5.序列标注:Chunker   * @deprecated 通过使用标记生成器生成的tokens分为一个句子划分为一组块。What chunker does is to partition a sentence to a set of chunks by using the tokens generated by tokenizer.   * @param str   */  public static void chunk(String str) throws IOException {   POSModel model = new POSModelLoader().load(new File("./nlpbin/en-pos-maxent.bin"));   //PerformanceMonitor perfMon = new PerformanceMonitor(System.err, "sent");   POSTaggerME tagger = new POSTaggerME(model);   ObjectStream<String> lineStream = new PlainTextByLineStream(new StringReader(str));   //perfMon.start();   String line;   String whitespaceTokenizerLine[] = null;   String[] tags = null;   while ((line = lineStream.read()) != null) {    whitespaceTokenizerLine = WhitespaceTokenizer.INSTANCE.tokenize(line);    tags = tagger.tag(whitespaceTokenizerLine);    POSSample sample = new POSSample(whitespaceTokenizerLine, tags);    System.out.println(sample.toString());     //perfMon.incrementCounter();   }   //perfMon.stopAndPrintFinalResult();      // chunker   InputStream is = new FileInputStream("./nlpbin/en-chunker.bin");   ChunkerModel cModel = new ChunkerModel(is);   ChunkerME chunkerME = new ChunkerME(cModel);   String result[] = chunkerME.chunk(whitespaceTokenizerLine, tags);   for (String s : result)    System.out.println(s);   Span[] span = chunkerME.chunkAsSpans(whitespaceTokenizerLine, tags);   for (Span s : span)    System.out.println(s.toString());   System.out.println("--------------5-------------");  }

运行结果:

OpenNLP:驾驭文本,分词那些事

7 分析器

功能介绍:尝试解析器最简单的方法是在命令行工具。该工具仅用于演示和测试。请从我们网站上的英文分块解析器模型,并用以下命令启动解析工具。

代码实现:

/**   * 6.分析器: Parser   * @deprecated Given this sentence: "Programcreek is a very huge and useful website.", parser can return the following:   * (TOP (S (NP (NN Programcreek) ) (VP (VBZ is) (NP (DT a) (ADJP (RB very) (JJ huge) (CC and) (JJ useful) ) ) ) (. website.) ) )   * (TOP   *     (S   *        (NP   *           (NN Programcreek)   *        )   *        (VP   *           (VBZ is)   *           (NP   *              (DT a)   *              (ADJP   *                   (RB very)   *                   (JJ huge)   *                   (CC and)   *                   (JJ userful)   *              )   *           )   *        )   *        (. website.)   *     )   * )   * @param str   */  public static void Parse() throws InvalidFormatException, IOException {   // http://sourceforge.net/apps/mediawiki/opennlp/index.php?title=Parser#Training_Tool   InputStream is = new FileInputStream("./nlpbin/en-parser-chunking.bin");   ParserModel model = new ParserModel(is);   Parser parser = ParserFactory.create(model);   String sentence = "Programcreek is a very huge and useful website.";   opennlp.tools.parser.Parse topParses[] = ParserTool.parseLine(sentence, parser, 1);   for (opennlp.tools.parser.Parse p : topParses)    p.show();   is.close();  }

运行结果:

OpenNLP:驾驭文本,分词那些事

8 参考文献

1 官方教程Apache OpenNLP Developer Documentation

2 openNLP 中的各种模型

3 openNLP开源工具

4 维基百科:OpenNLP

驾驭文本第二章第二节

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » OpenNLP:驾驭文本,分词那些事

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址
分享按钮