热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

基于最大匹配算法的简易分词程序设计与实现

本文介绍了一种基于最大匹配算法的简易分词程序的设计与实现。该程序通过引入哈希集合存储词典,利用前向最大匹配方法对输入文本进行高效分词处理,具有较高的准确率和较快的处理速度,适用于中文文本的快速分词需求。
import java.io.*;
import java.util.HashSet;
import java.util.Set;
public class Test {
 public static Set set;
 public static void readTxt(String filename)
 {
  File f = new File(filename);  
  
  
  try{
   //System.out.println("TRY---BEGIN");
   InputStreamReader read = new InputStreamReader(new FileInputStream(f), "GBK");
   BufferedReader bufferedReader = new BufferedReader(read);
   String line = null;
   int nLine = 0;
   while( (line = bufferedReader.readLine()) != null)
   {
    //System.out.println(line);
    String strArr[] = line.split(" ");
    for(int i = 0; i )
    {
     set.add(strArr[i]);
    // System.out.println(strArr[i]);
    }
    
    if(nLine++ > 3000000)
    {
     break;
    }
   }
   //System.out.println("test");
  }
  catch(Exception e)
  {
   System.out.println("exception");
  }
  //
 }
 
 public static void WriteSetData(String savepath)
 {  
 }
 
 public static void ReadSetData(String savepath)
 {  
 }
 
 public static void test_(String strtest)
 {
  int arr[] = new int[strtest.length()];
  int index = 0;
  for(int i = 0; i )
  {
   String word = "";
   word  += strtest.charAt(i);
   String tmp = word;
   int j = 1;
   boolean flag = false;
   int flagIndex = 0;
   for(; j <4 && i + j )
   {
    tmp += strtest.charAt(i + j);
    if(set.contains(tmp))
    {
     flag = true;
     flagIndex = j;
     //break;     
    }
   }
   
   if(flag)
   {
    //find 
    arr[index] = i + flagIndex;
    //System.out.print(arr[index]);
    System.out.print(strtest.substring(i, arr[index] + 1));
    System.out.print("/");
    index++;
    
    i = i + flagIndex;
   }
   else 
   {
    arr[index] = i;
    //System.out.print(arr[index]);
    System.out.print(strtest.substring(i, arr[index] + 1));
    System.out.print("/");
    index++;
   }
   
  }
  System.out.println();
 }
 
 /**
  * @param args
  */
 public static void main(String[] args) {
  // TODO Auto-generated method stub
  String filename = "C:\\mltest6\\RenMinData.txt";
  
  set = new HashSet(); 
  readTxt(filename);
  
  System.out.println("开始----------------------------------------");
  //String strtest = "中共中央政治局委员、中央党的群众路线教育实践活动领导小组副组长赵乐际23日在云南玉溪调研教育实践活动开展情况。他强调,要深入学习贯彻习总书记在指导兰考县委常委班子专题民主生活会时的重要讲话精神,落实“三严三实”要求,严肃认真开展批评和自我批评,切实解决“四风”突出问题,确保教育实践活动取得人民群众满意的成效。";
  String strtest;
  strtest = "赵乐际在红塔区黄草坝村召开基层党员干部座谈会。他指出,要以习总书记和中央政治局常委其他同志联系点专题民主生活会为标杆,坚持高标准、严要求,把专题民主生活会开出好氛围、好效果。听意见要深入基层、深入群众,对照检查要触及思想、触及灵魂,谈心交心要掏心窝子、动真感情,开展批评要真刀真枪、一针见血,真正红红脸、出出汗、排排毒。整改问题要动真格、见实效,即知即改、立行立改、专项整改。要坚持两手抓、两促进,把开展活动与推动中心工作、重点工作有机结合起来,树立正确用人导向,提高党员、干部素质和能力,以转作风的实际成效,使经济社会发展得更好,让老百姓日子越过越红火。赵乐际还深入工业园区和乡村实地调研,走访慰问了生活困难党员群众,听取他们的意见建议。";
  test_(strtest);
  
 }
}

 


推荐阅读
  • 本文详细解析了Python中的os和sys模块,介绍了它们的功能、常用方法及其在实际编程中的应用。 ... [详细]
  • 本文介绍了Java并发库中的阻塞队列(BlockingQueue)及其典型应用场景。通过具体实例,展示了如何利用LinkedBlockingQueue实现线程间高效、安全的数据传递,并结合线程池和原子类优化性能。 ... [详细]
  • 本文探讨了如何在给定整数N的情况下,找到两个不同的整数a和b,使得它们的和最大,并且满足特定的数学条件。 ... [详细]
  • 本文详细探讨了KMP算法中next数组的构建及其应用,重点分析了未改良和改良后的next数组在字符串匹配中的作用。通过具体实例和代码实现,帮助读者更好地理解KMP算法的核心原理。 ... [详细]
  • 本文详细记录了在基于Debian的Deepin 20操作系统上安装MySQL 5.7的具体步骤,包括软件包的选择、依赖项的处理及远程访问权限的配置。 ... [详细]
  • 本文介绍如何使用Objective-C结合dispatch库进行并发编程,以提高素数计数任务的效率。通过对比纯C代码与引入并发机制后的代码,展示dispatch库的强大功能。 ... [详细]
  • 本文详细介绍如何使用Python进行配置文件的读写操作,涵盖常见的配置文件格式(如INI、JSON、TOML和YAML),并提供具体的代码示例。 ... [详细]
  • Java 中 Writer flush()方法,示例 ... [详细]
  • 技术分享:从动态网站提取站点密钥的解决方案
    本文探讨了如何从动态网站中提取站点密钥,特别是针对验证码(reCAPTCHA)的处理方法。通过结合Selenium和requests库,提供了详细的代码示例和优化建议。 ... [详细]
  • 本文将介绍如何使用 Go 语言编写和运行一个简单的“Hello, World!”程序。内容涵盖开发环境配置、代码结构解析及执行步骤。 ... [详细]
  • 本文探讨了Hive中内部表和外部表的区别及其在HDFS上的路径映射,详细解释了两者的创建、加载及删除操作,并提供了查看表详细信息的方法。通过对比这两种表类型,帮助读者理解如何更好地管理和保护数据。 ... [详细]
  • 题目描述:给定n个半开区间[a, b),要求使用两个互不重叠的记录器,求最多可以记录多少个区间。解决方案采用贪心算法,通过排序和遍历实现最优解。 ... [详细]
  • 深入解析:手把手教你构建决策树算法
    本文详细介绍了机器学习中广泛应用的决策树算法,通过天气数据集的实例演示了ID3和CART算法的手动推导过程。文章长度约2000字,建议阅读时间5分钟。 ... [详细]
  • 本文深入探讨了Linux系统中网卡绑定(bonding)的七种工作模式。网卡绑定技术通过将多个物理网卡组合成一个逻辑网卡,实现网络冗余、带宽聚合和负载均衡,在生产环境中广泛应用。文章详细介绍了每种模式的特点、适用场景及配置方法。 ... [详细]
  • 机器学习中的相似度度量与模型优化
    本文探讨了机器学习中常见的相似度度量方法,包括余弦相似度、欧氏距离和马氏距离,并详细介绍了如何通过选择合适的模型复杂度和正则化来提高模型的泛化能力。此外,文章还涵盖了模型评估的各种方法和指标,以及不同分类器的工作原理和应用场景。 ... [详细]
author-avatar
hero-laiquwuz_82914c
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有