360SDN.COM

首页/Java/列表

9大Java开源中文分词器的使用方法和分词效果对比

来源:  2017-06-28 20:04:13    评论:0点击:

本文的目标有两个:

1、学会使用9大Java开源中文分词器

2、对比分析9大Java开源中文分词器的分词效果

9大Java开源中文分词器,不同的分词器有不同的用法,定义的接口也不一样,我们先定义一个统一的接口:

/**
 * 获取文本的所有分词结果, 对比不同分词器结果
 * @author 杨尚川
 */
public interface WordSegmenter {
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果,去除重复
     */
    default public Set<String> seg(String text) {
        return segMore(text).values().stream().collect(Collectors.toSet());
    }
    /**
     * 获取文本的所有分词结果
     * @param text 文本
     * @return 所有的分词结果,KEY 为分词器模式,VALUE 为分词器结果
     */
    public Map<String, String> segMore(String text);
}

从上面的定义我们知道,在Java中,同样的方法名称和参数,但是返回值不同,这种情况不可以使用重载。

这两个方法的区别在于返回值,每一个分词器都可能有多种分词模式,每种模式的分词结果都可能不相同,第一个方法忽略分词器模式,返回所有模式的所有不重复分词结果,第二个方法返回每一种分词器模式及其对应的分词结果。

在这里,需要注意的是我们使用了Java8中的新特性默认方法,并使用stream把一个map的value转换为不重复的集合。

 

下面我们利用这9大分词器来实现这个接口:

1、word分词器

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    for(SegmentationAlgorithm segmentationAlgorithm : SegmentationAlgorithm.values()){
        map.put(segmentationAlgorithm.getDes(), seg(text, segmentationAlgorithm));
    }
    return map;
}
private static String seg(String text, SegmentationAlgorithm segmentationAlgorithm) {
    StringBuilder result = new StringBuilder();
    for(Word word : WordSegmenter.segWithStopWords(text, segmentationAlgorithm)){
        result.append(word.getText()).append(" ");
    }
    return result.toString();
}

2、Ansj分词器

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    StringBuilder result = new StringBuilder();
    for(Term term : BaseAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("BaseAnalysis", result.toString());

    result.setLength(0);
    for(Term term : ToAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("ToAnalysis", result.toString());

    result.setLength(0);
    for(Term term : NlpAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("NlpAnalysis", result.toString());

    result.setLength(0);
    for(Term term : IndexAnalysis.parse(text)){
        result.append(term.getName()).append(" ");
    }
    map.put("IndexAnalysis", result.toString());

    return map;
}

3、Stanford分词器

private static CRFClassifier<CoreLabel> pkuCRFClassifier = null;
private static CRFClassifier<CoreLabel> ctbCRFClassifier = null;
static{
    try{
        String pku = "lib/stanford-segmenter-3.3.1/data/pku.gz";
        String ctb = "lib/stanford-segmenter-3.3.1/data/ctb.gz";
        //github单文件最大不能超过100m,所以分割文件存放,使用时再合并
        //split(pku, 2);
        //split(ctb, 2);
        if(!Files.exists(Paths.get(pku))){
            merge(pku, pku, 2);
        }
        if(!Files.exists(Paths.get(ctb))){
            merge(ctb, ctb, 2);
        }
        pkuCRFClassifier = getCRFClassifier("pku");
        ctbCRFClassifier = getCRFClassifier("ctb");
    }catch(Exception e){
        e.printStackTrace();
    }
}
private static CRFClassifier<CoreLabel> getCRFClassifier(String lang){
    Properties props = new Properties();
    props.setProperty("sighanCorporaDict", "lib/stanford-segmenter-3.3.1/data");
    props.setProperty("NormalizationTable", "lib/stanford-segmenter-3.3.1/data/norm.simp.utf8");
    props.setProperty("normTableEncoding", "UTF-8");
    // below is needed because CTBSegDocumentIteratorFactory accesses it
    props.setProperty("serDictionary","lib/stanford-segmenter-3.3.1/data/dict-chris6.ser.gz");
    props.setProperty("inputEncoding", "UTF-8");
    props.setProperty("sighanPostProcessing", "true");
    
    final CRFClassifier<CoreLabel> segmenter = new CRFClassifier<>(props);
    segmenter.loadClassifierNoExceptions("lib/stanford-segmenter-3.3.1/data/"+lang+".gz", props);
    return segmenter;
}
private static void split(String file, int splitCount) throws Exception {
    long length;
    long size;
    try (RandomAccessFile raf = new RandomAccessFile(new File(file), "r")) {
        length = raf.length();
        size = length / splitCount;
    }
    long offset = 0L;
    for (int i = 0; i < splitCount - 1; i++){
        long fbegin = offset;
        long fend = (i + 1) * size;
        offset = write(file, i, fbegin, fend);
    }
    if (length - offset > 0){
        write(file, splitCount - 1, offset, length);
    }
}
private static void merge(String file, String splitFiles, int splitCount) throws Exception {
    try (RandomAccessFile raf = new RandomAccessFile(new File(file), "rw")) {
        for (int i = 0; i < splitCount; i++) {
            try (RandomAccessFile reader = new RandomAccessFile(new File(splitFiles + "_" + i), "r")) {
                byte[] b = new byte[4096];
                int n = -1;
                while ((n = reader.read(b)) != -1) {
                    raf.write(b, 0, n);
                }
            }
        }
    }
}
private static long write(String file, int index, long begin, long end) throws Exception {
    long endPointer;
    try (RandomAccessFile in = new RandomAccessFile(new File(file), "r");
            RandomAccessFile out = new RandomAccessFile(new File(file + "_" + index), "rw")) {
        byte[] b = new byte[4096];
        int n = 0;
        in.seek(begin);
        while (in.getFilePointer() <= end && (n = in.read(b)) != -1) {
            out.write(b, 0, n);
        }   endPointer = in.getFilePointer();
    }
    return endPointer;
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("Stanford Beijing University segmentation", seg(pkuCRFClassifier, text));
    map.put("Stanford Chinese Treebank segmentation", seg(ctbCRFClassifier, text));
    return map;
}

private static String seg(CRFClassifier<CoreLabel> crfClassifier, String text){
    StringBuilder result = new StringBuilder();
    for(String word : crfClassifier.segmentString(text)){
        result.append(word).append(" ");
    }
    return result.toString();
}

4、FudanNLP分词器

private static CWSTagger tagger = null;
static{
    try{
        tagger = new CWSTagger("lib/fudannlp_seg.m");
        tagger.setEnFilter(true);
    }catch(Exception e){
        e.printStackTrace();
    }
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("FudanNLP", tagger.tag(text));
    return map;
}

5、Jieba分词器

private static final JiebaSegmenter JIEBA_SEGMENTER = new JiebaSegmenter();
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put("INDEX", seg(text, JIEBA_SEGMENTER, SegMode.INDEX));
    map.put("SEARCH", seg(text, JIEBA_SEGMENTER, SegMode.SEARCH));
    return map;
}
public String seg(String text, JiebaSegmenter segmenter, SegMode segMode) {
    StringBuilder result = new StringBuilder();                
    for(SegToken token : segmenter.process(text, segMode)){
        result.append(token.token).append(" ");
    }
    return result.toString(); 
}

6、Jcseg分词器

private static final JcsegTaskConfig CONFIG = new JcsegTaskConfig();
private static final ADictionary DIC = DictionaryFactory.createDefaultDictionary(CONFIG);
static {
    CONFIG.setLoadCJKSyn(false);
    CONFIG.setLoadCJKPinyin(false);
}
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("复杂模式", segText(text, JcsegTaskConfig.COMPLEX_MODE));
    map.put("简易模式", segText(text, JcsegTaskConfig.SIMPLE_MODE));

    return map;
}
private String segText(String text, int segMode) {
    StringBuilder result = new StringBuilder();        
    try {
        ISegment seg = SegmentFactory.createJcseg(segMode, new Object[]{new StringReader(text), CONFIG, DIC});
        IWord word = null;
        while((word=seg.next())!=null) {         
            result.append(word.getValue()).append(" ");
        }
    } catch (Exception ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

7、MMSeg4j分词器

private static final Dictionary DIC = Dictionary.getInstance();
private static final SimpleSeg SIMPLE_SEG = new SimpleSeg(DIC);
private static final ComplexSeg COMPLEX_SEG = new ComplexSeg(DIC);
private static final MaxWordSeg MAX_WORD_SEG = new MaxWordSeg(DIC);
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();
    map.put(SIMPLE_SEG.getClass().getSimpleName(), segText(text, SIMPLE_SEG));
    map.put(COMPLEX_SEG.getClass().getSimpleName(), segText(text, COMPLEX_SEG));
    map.put(MAX_WORD_SEG.getClass().getSimpleName(), segText(text, MAX_WORD_SEG));
    return map;
}
private String segText(String text, Seg seg) {
    StringBuilder result = new StringBuilder();
    MMSeg mmSeg = new MMSeg(new StringReader(text), seg);        
    try {
        Word word = null;
        while((word=mmSeg.next())!=null) {       
            result.append(word.getString()).append(" ");
        }
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

8、IKAnalyzer分词器

@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("智能切分", segText(text, true));
    map.put("细粒度切分", segText(text, false));

    return map;
}
private String segText(String text, boolean useSmart) {
    StringBuilder result = new StringBuilder();
    IKSegmenter ik = new IKSegmenter(new StringReader(text), useSmart);        
    try {
        Lexeme word = null;
        while((word=ik.next())!=null) {          
            result.append(word.getLexemeText()).append(" ");
        }
    } catch (IOException ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();
}

9、Paoding分词器

private static final PaodingAnalyzer ANALYZER = new PaodingAnalyzer();
@Override
public Map<String, String> segMore(String text) {
    Map<String, String> map = new HashMap<>();

    map.put("MOST_WORDS_MODE", seg(text, PaodingAnalyzer.MOST_WORDS_MODE));
    map.put("MAX_WORD_LENGTH_MODE", seg(text, PaodingAnalyzer.MAX_WORD_LENGTH_MODE));
    
    return map;
}
private static String seg(String text, int mode){
    ANALYZER.setMode(mode);
    StringBuilder result = new StringBuilder();
    try {
        Token reusableToken = new Token();
        TokenStream stream = ANALYZER.tokenStream("", new StringReader(text));
        Token token = null;
        while((token = stream.next(reusableToken)) != null){
            result.append(token.term()).append(" ");
        }
    } catch (Exception ex) {
        throw new RuntimeException(ex);
    }
    return result.toString();          
}

现在我们已经实现了本文的第一个目的:学会使用9大Java开源中文分词器。

最后我们来实现本文的第二个目的:对比分析9大Java开源中文分词器的分词效果,程序如下:

public static Map<String, Set<String>> contrast(String text){
    Map<String, Set<String>> map = new LinkedHashMap<>();
    map.put("word分词器", new WordEvaluation().seg(text));
    map.put("Stanford分词器", new StanfordEvaluation().seg(text));
    map.put("Ansj分词器", new AnsjEvaluation().seg(text));
    map.put("FudanNLP分词器", new FudanNLPEvaluation().seg(text));
    map.put("Jieba分词器", new JiebaEvaluation().seg(text));
    map.put("Jcseg分词器", new JcsegEvaluation().seg(text));
    map.put("MMSeg4j分词器", new MMSeg4jEvaluation().seg(text));
    map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().seg(text));
    map.put("Paoding分词器", new PaodingEvaluation().seg(text));
    return map;
}
public static Map<String, Map<String, String>> contrastMore(String text){
    Map<String, Map<String, String>> map = new LinkedHashMap<>();
    map.put("word分词器", new WordEvaluation().segMore(text));
    map.put("Stanford分词器", new StanfordEvaluation().segMore(text));
    map.put("Ansj分词器", new AnsjEvaluation().segMore(text));
    map.put("FudanNLP分词器", new FudanNLPEvaluation().segMore(text));
    map.put("Jieba分词器", new JiebaEvaluation().segMore(text));
    map.put("Jcseg分词器", new JcsegEvaluation().segMore(text));
    map.put("MMSeg4j分词器", new MMSeg4jEvaluation().segMore(text));
    map.put("IKAnalyzer分词器", new IKAnalyzerEvaluation().segMore(text));
    map.put("Paoding分词器", new PaodingEvaluation().segMore(text));
    return map;
}
public static void show(Map<String, Set<String>> map){
    map.keySet().forEach(k -> {
        System.out.println(k + " 的分词结果:");
        AtomicInteger i = new AtomicInteger();
        map.get(k).forEach(v -> {
            System.out.println("\t" + i.incrementAndGet() + " 、" + v);
        });
    });
}
public static void showMore(Map<String, Map<String, String>> map){
    map.keySet().forEach(k->{
        System.out.println(k + " 的分词结果:");
        AtomicInteger i = new AtomicInteger();
        map.get(k).keySet().forEach(a -> {
            System.out.println("\t" + i.incrementAndGet()+ " 、【"   + a + "】\t" + map.get(k).get(a));
        });
    });
}
public static void main(String[] args) {
    show(contrast("杨尚川是APDPlat应用级产品开发平台的作者"));
    showMore(contrastMore("杨尚川是APDPlat应用级产品开发平台的作者"));
}

运行结果如下:

word分词器 的分词结果:
	1 、杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
	2 、杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
	3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
Stanford分词器 的分词结果:
	1 、杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
	2 、杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
Ansj分词器 的分词结果:
	1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	2 、杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	3 、杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	4 、杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
FudanNLP分词器 的分词结果:
	1 、杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者
Jieba分词器 的分词结果:
	1 、杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 
	2 、杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
Jcseg分词器 的分词结果:
	1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	2 、杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
MMSeg4j分词器 的分词结果:
	1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
IKAnalyzer分词器 的分词结果:
	1 、杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
Paoding分词器 的分词结果:
	1 、杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者
word分词器 的分词结果:
	1 、【全切分算法】	杨尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
	2 、【双向最大最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	3 、【正向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
	4 、【双向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
	5 、【逆向最大匹配算法】	杨尚川 是 apdplat 应用级 产品 开发平台 的 作者 
	6 、【正向最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	7 、【双向最小匹配算法】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	8 、【逆向最小匹配算法】	杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
Stanford分词器 的分词结果:
	1 、【Stanford Chinese Treebank segmentation】	杨 尚 川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
	2 、【Stanford Beijing University segmentation】	杨 尚川 是 APDPlat 应用 级 产品 开发 平台 的 作者 
Ansj分词器 的分词结果:
	1 、【BaseAnalysis】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	2 、【IndexAnalysis】	杨 杨尚川 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	3 、【ToAnalysis】	杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	4 、【NlpAnalysis】	杨尚川 是 apdplat 应用级 产品 开发 平台 的 作者 
FudanNLP分词器 的分词结果:
	1 、【FudanNLP】	杨尚川 是 APDPlat应 用级 产品 开发 平台 的 作者
Jieba分词器 的分词结果:
	1 、【SEARCH】	杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
	2 、【INDEX】	杨尚川 是 apdplat 应用 级 产品 开发 产品开发 平台 的 作者 
Jcseg分词器 的分词结果:
	1 、【简易模式】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	2 、【复杂模式】	杨 尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
MMSeg4j分词器 的分词结果:
	1 、【SimpleSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	2 、【ComplexSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	3 、【MaxWordSeg】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
IKAnalyzer分词器 的分词结果:
	1 、【智能切分】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
	2 、【细粒度切分】	杨 尚 川 是 apdplat 应用 级 产品 开发 平台 的 作者 
Paoding分词器 的分词结果:
	1 、【MAX_WORD_LENGTH_MODE】	杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者 
	2 、【MOST_WORDS_MODE】	杨尚 尚川 apdplat 应用 级 产品 开发 平台 作者

 

完整代码看这里 来自:

为您推荐

友情链接 |九搜汽车网 |手机ok生活信息网|ok生活信息网|ok微生活
 Powered by www.360SDN.COM   京ICP备11022651号-4 © 2012-2016 版权