缘由
数字化文本越来越多，怎么让机器自动从中提炼出知识，就成了一件迫切的事。
中文和拼音文字最大的区别，在于词与词之间没有分隔。而现有的中文文本挖掘方法，大多要么依赖一份事先给定的词表，要么依赖一份足够大的相关训练语料——可在很多场景下，这两样东西都拿不到。
pullword 就是为这种场景做的：从大大小小的无结构中文文本中发现新词，给发现的词排序，并在此基础上做更上层的上下文分析。当底层词表未知，或者待处理的文本与已有训练语料差异很大时，它尤其有用——比如网络文本和垂直领域语料的挖掘。
实现
具体做法主要参考了 matrix67 的这篇博文。