项目
- pullword:无监督新词发现不需要预设词表,也不需要标注语料,直接从中文文本里把词「拉」出来——适合挖掘网络文本和垂直领域语料。
- FMR:函数式语义表示FMR 是一种强类型、开放域的语义表示形式语言,配合基于 CFG 的语义解析器,把自然语言映射成严谨的逻辑表达式。
- gocc:Go 语言版 OpenCC 繁簡轉換OpenCC 的 Go 语言重写版,支持简繁转换,并覆盖台湾、香港等地区的用词习惯与短语级替换。
- ling:Go 语言实现的自然语言处理工具包轻量级的 Go 语言 NLP 工具包:多语种分词、Unicode 文本归一化、词形还原,以及基于正则的标注。
- Goobot:通用多语种网页正文抽取通用的多语种网页正文抽取器:不依赖规则,也不需要训练,效果对标 Diffbot,速度快十倍以上。
- 网页知识抽取基于大规模网页库的全球电话号码信息抽取:从海量网页中自动识别、归一化并关联各国电话号码及其归属实体。
- 大规模网页抓取灵活、高性能的分布式爬虫框架,支撑大规模网页抓取,并从页面中解析出链接、图片、正文、价格等属性。