基于最大匹配算法的简易分词程序设计与实现

import java.io.*;
import java.util.HashSet;
import java.util.Set;
public class Test {
 public static Set set;
 public static void readTxt(String filename)
 {
  File f = new File(filename);  
  
  
  try{
   //System.out.println("TRY---BEGIN");
   InputStreamReader read = new InputStreamReader(new FileInputStream(f), "GBK");
   BufferedReader bufferedReader = new BufferedReader(read);
   String line = null;
   int nLine = 0;
   while( (line = bufferedReader.readLine()) != null)
   {
    //System.out.println(line);
    String strArr[] = line.split(" ");
    for(int i = 0; i )
    {
     set.add(strArr[i]);
    // System.out.println(strArr[i]);
    }
    
    if(nLine++ > 3000000)
    {
     break;
    }
   }
   //System.out.println("test");
  }
  catch(Exception e)
  {
   System.out.println("exception");
  }
  //
 }
 
 public static void WriteSetData(String savepath)
 {  
 }
 
 public static void ReadSetData(String savepath)
 {  
 }
 
 public static void test_(String strtest)
 {
  int arr[] = new int[strtest.length()];
  int index = 0;
  for(int i = 0; i )
  {
   String word = "";
   word  += strtest.charAt(i);
   String tmp = word;
   int j = 1;
   boolean flag = false;
   int flagIndex = 0;
   for(; j <4 && i + j )
   {
    tmp += strtest.charAt(i + j);
    if(set.contains(tmp))
    {
     flag = true;
     flagIndex = j;
     //break;     
    }
   }
   
   if(flag)
   {
    //find 
    arr[index] = i + flagIndex;
    //System.out.print(arr[index]);
    System.out.print(strtest.substring(i, arr[index] + 1));
    System.out.print("/");
    index++;
    
    i = i + flagIndex;
   }
   else 
   {
    arr[index] = i;
    //System.out.print(arr[index]);
    System.out.print(strtest.substring(i, arr[index] + 1));
    System.out.print("/");
    index++;
   }
   
  }
  System.out.println();
 }
 
 /**
  * @param args
  */
 public static void main(String[] args) {
  // TODO Auto-generated method stub
  String filename = "C:\\mltest6\\RenMinData.txt";
  
  set = new HashSet(); 
  readTxt(filename);
  
  System.out.println("开始----------------------------------------");
  //String strtest = "中共中央政治局委员、中央党的群众路线教育实践活动领导小组副组长赵乐际23日在云南玉溪调研教育实践活动开展情况。他强调，要深入学习贯彻习总书记在指导兰考县委常委班子专题民主生活会时的重要讲话精神，落实“三严三实”要求，严肃认真开展批评和自我批评，切实解决“四风”突出问题，确保教育实践活动取得人民群众满意的成效。";
  String strtest;
  strtest = "赵乐际在红塔区黄草坝村召开基层党员干部座谈会。他指出，要以习总书记和中央政治局常委其他同志联系点专题民主生活会为标杆，坚持高标准、严要求，把专题民主生活会开出好氛围、好效果。听意见要深入基层、深入群众，对照检查要触及思想、触及灵魂，谈心交心要掏心窝子、动真感情，开展批评要真刀真枪、一针见血，真正红红脸、出出汗、排排毒。整改问题要动真格、见实效，即知即改、立行立改、专项整改。要坚持两手抓、两促进，把开展活动与推动中心工作、重点工作有机结合起来，树立正确用人导向，提高党员、干部素质和能力，以转作风的实际成效，使经济社会发展得更好，让老百姓日子越过越红火。赵乐际还深入工业园区和乡村实地调研，走访慰问了生活困难党员群众，听取他们的意见建议。";
  test_(strtest);
  
 }
}