文本挖掘 - 分词

 s:          待分的句子

    
 temp: 
    
 max_len:    最大词语长度
    
 dic:        词典库(包含了极多的词语)
    
 result:     分词结果
    
  
    
 1. 对待分的句子从左到右找一个长度为max_len的字段, 记为temp
    
  
    
 2. 判断temp是否存在与dic中
    
     2.1 如果temp是一个单词, 则s缩短, 回到1
    
     2.2 如果temp不在dic中, 则减少temp一个长度, 回到2
    
     
    
 3. 最终的划分结果使用"/"连接
    
  
    
  
    
 eg:
    
 s = "计算语言学课程是三个课时"
    
 max_len = 5
    
  
    
 temp = "计算语言学"
    
 显然temp在dic中, s = "课程是三个课时"
    
 result = "计算语言学/"
    
  
    
 temp = "课程是三个"
    
 显然temp不在dic中
    
 temp = "课程是三"
    
 显然temp不在dic中
    
 ...
    
 temp = "课程", s = "是三个课时"
    
 result = "计算语言学/课程/"
    
  
    
 ...
    
 result = "计算语言学/课程/是/三个/课时"
    
    
    
    

 eg:

    
 s = "计算语言学课程是三个课时"
    
 max_len = 5
    
  
    
 temp = "是三个课时"
    
 显然temp不在dic中, s = "三个课时"
    
 result = "/课时"
    
    
    
    

 s = "有意见分歧"

    
 假设有两种划分形式：
    
 c1 = "有/意见/分歧"
    
 c2 = "有意/见/分歧"
    
  
    
 我们只需计算将s划分成c1, c2的概率:
    
 P(c1|s) = P(s|c1) * P(c1) / P(s) = P(c1) = P("有") * P("意见") * P("分歧") 
    
 P(c2|s) = P("有意") * P("见") * P("分歧") 
    
  
    
 词库中给出的词语及出现概率:
    
 有        0.018
    
 有意      0.0005
    
 意见      0.001
    
 见        0.0002
    
 分歧      0.0001
    
  
    
 计算出概率, 比较大小即可
    
    
    
    

 优点: 好于单向的最大匹配方法

    
 最大匹配:   独立自主/和平/等/互利的原则
    
 最短路径:   独立自主/和/平等互利/的/原则
    
  
    
 缺点: 无法解决歧义
    
 他/说/的/确实/在理
    
 他/说/的确/实在/理
    
 他/说/的确/实/在理