哈工大LTP和中科院NLPIR中文分词比较
个人实验总结，仅供参考。 1. LTP有自动分句功能 ，NLPIR没有分句功能；
LTP的分句是根据中文标点里的句号、问号、感叹号、分号、省略号。
2.NLPIR分词 有两种方式，分词结果完全一致。
（1）利用分词函数NLPIR_ParagraphProcess；
（2）利用NLPIR_FileProcess对整个文本进行分词。
其中第（2）种有时候会出现bug，分词进行到文本某一处时会进行不下去。
3.LTP有在线API和本地两种 ：
（1）在线API受限于URI构造规则，不能提交一些特殊字符（如#、&、+、换行符、英文分号等），而且存在极少数未知的组合bug（比如and和in居然不能同时提交）；
（2）本地LTP在分词时则不受上述限制。
| 符号 | 问题 |
|---|---|
| 换行符 | 程序直接报错 |
| & | 会影响句子处理（句子会被截断） |
| 英文分号; | 会影响句子处理（句子会被截断） |
| # | 会影响句子处理（程序直接报错，如“C#”） |
| + | 会被系统删除（如“互联网+”、“C++”） |
基于上述原因，调用在线API分词和本地分词两种方式的分词结果会有差异，而且除了上述特殊字符引起的差异外，还会有其他一些极少数差异。
差异统计 ：3000个句子，有40句存在分词差异。
“+”引起：21句
“#”引起：2句
其他：17句
| LTP本地 | LTP在线 | **** | LTP本地 | LTP在线 |
|---|---|---|---|---|
| 异常 点 | 异常点 | 多 年 | 多年 | |
| 不好的 | 不好 的 | 过 关 | 过关 | |
| 书 挺 不错 的 | 书挺 不错 的 | 白 学 了 | 白学 了 | |
| 很快 | 很 快 | 就 此 | 就此 | |
| 赶上 | 赶 上 | 网络类 的 图书 | 网络 类 的 图书 | |
| 初学者 | 初 学者 | 缺 失 | 缺失 |
上述例子并不绝对，在有些句子里，在线切分也能够将“初学者”切分出来，而本地切分却会将其切分成“初”“学者”。
4.用户词典 ：
（1）NLPIR分词时将优先使用用户词典；
（2）LTP用户词典：官方补充说“LTP的分词模块并非采用词典匹配的策略，外部词典以特征方式加入机器学习算法，并不能保证所有的词都是按照词典里的方式进行切分”；
所以LTP有些词加入用户词典也无效，比如“C++”、“C#”、“互联网+”。
哈工大LTP与中科院NLPIR分词差异
试验了3000句，去除哈工大停用词后有31259个词，其中1505句分词结果完全一样。
注意 ：列表只是给出一些词在某些句子里的切分情况，并不表示在所有句子里都是这样切分。在有些情况下，哈工大和中科院的切分方法甚至会反过来。
整体上感觉中科院NLPIR在很多词上更倾向于分得更小。
下表给出了导致不一致的一些分词：
| 哈工大LTP分词 | 中科院NLPIR分词 |
|---|---|
| 正在 | 正 在 |
| 给力 | 给 力 |
| 不用说 | 不用 说 |
| 有点 | 有 点 |
| 翻译家 | 翻译 家 |
| 一 大 堆话 | 一 大 堆 话 |
| 只有 | 只 有 |
| 字字千金 | 字字 千金 |
| 网络类 | 网络 类 |
| 不过 | 不 过 |
| 楼主 | 楼 主 |
| 看 起来 | 看起来 |
| 大牛 | 大 牛 |
| 免邮费 | 免 邮费 |
| 赞赞赞 | 赞 赞 赞 |
| 初 学者 | 初学者 |
| 这 本 书 | 这 本书 |
| 难看 懂 | 难 看 懂 |
| 只能 | 只 能 |
| 有 人 说 | 有人 说 |
| 难懂 | 难 懂 |
| 有些 | 有 些 |
| 真的 | 真 的 |
| 还是 | 还 是 |
| 以前 | 以 前 |
| 实体书 | 实体 书 |
| 有 些 | 有些 |
| 不错 | 不 错 |
| 说是 很 不错 | 说 是 很 不 错 |
| 是否 对 味口 | 是否 对味 口 |
| 书摸 起来 的 质感 | 书 摸 起来 的 质感 |
| 与时俱进 | 与 时 俱 进 |
| 就是 | 就 是 |
| 错版 | 错 版 |
| 来 入门 的 话 | 来 入门 的话 |
| 经典 之 作 | 经典之作 |
| 膜拜 | 膜 拜 |
| 不好 | 不 好 |
| 你们 | 你 们 |
| 离 不 开 | 离不开 |
| 很多 | 很 多 |
| 知易行 难 | 知 易行 难 |
| 实乃 | 实 乃 |
| 倾情 | 倾 情 |
| 有着 | 有 着 |
| 有 点 | 有点 |
| 很 多 | 很多 |
| 高管 | 高 管 |
| 一下 | 一 下 |
| 延展 | 延 展 |
| 但是 | 但 是 |
| 亚马逊 | 亚 马 逊 |
| 就 是 | 就是 |
| 图灵 图书 | 图 灵 图书 |
| 安卓 | 安 卓 |
| 进阶 | 进 阶 |
| 例程 | 例 程 |
| 入 门书 | 入门 书 |
| 最好 | 最 好 |
| 还有 | 还 有 |
| 心痛 | 心 痛 |
| 会上瘾 | 会上 瘾 |
| 上来 | 上 来 |
| 实用性 | 实用 性 |
| 原书 | 原 书 |
| 没 得 说么 就 是 好 | 没 得 说 么 就 是 好 |
| 源码 | 源 码 |
| 跟着 | 跟 着 |
| 一部分 | 一 部分 |
| 说说 | 说 说 |
| 太坑 了 | 太 坑 了 |
| 入门者 | 入门 者 |
| 不怎么样 | 不 怎么样 |
| 开发者 | 开发 者 |
| 本书 | 本 书 |
| 无 需 多 说 | 无需 多 说 |
| 正版书 | 正版 书 |
| 一 本 完 完全全 的 入门书 | 一 本 完 完全 全 的 入门 书 |
| 微博 | 微 博 |
| 一页纸 | 一 页 纸 |
| 中文字 | 中 文字 |
| 没有 | 没 有 |
| 有点 取宠 之 嫌 | 有点 取 宠 之 嫌 |
| 禅意 | 禅 意 |
| 炫技 | 炫 技 |
| 未曾 | 未 曾 |
| 可是 | 可 是 |
| 更新 | 更 新 |
| 菜鸟 | 菜 鸟 |
| 书挺 不错 的 | 书 挺 不错 的 |
| 后端 | 后 端 |
| 早就 | 早 就 |
| 再说 吧 | 再 说 吧 |
| 看看 | 看 看 |
| 不行 | 不 行 |
| 很快 | 很 快 |
| 只是 | 只 是 |
| 九流 | 九 流 |
| 若是 | 若 是 |
| 名头 | 名 头 |
| 书香味 | 书 香味 |
| 知识点 | 知识 点 |
| 个人 | 个 人 |
| 当作 参考 书用 | 当作 参考书 用 |
| 逻辑 思维 | 逻辑思维 |
| 到货 | 到 货 |
| 污损 | 污 损 |
| 之前 | 之 前 |
| 一点点 | 一点 点 |
| 完虐 | 完 虐 |
| 晒 图 | 晒图 |
| 没法 | 没 法 |
| 一起 | 一 起 |
| 第几 | 第 几 |
| 在线 | 在 线 |
| 不能 | 不能 |
| 右下角 | 右 下 角 |
| 电商 | 电 商 |
| 支付宝 | 支付 宝 |
| 物联网 | 物 联网 |
| 难得一见 | 难 得 一 见 |
| 睁 眼 瞎 | 睁眼瞎 |