lightNLP:框架功能丰富，开箱即用
lightNLP:框架功能丰富，开箱即用
机器学习AI算法工程
发布于 2019-10-28 16:19:25
发布于 2019-10-28 16:19:25
AI项目体验地址 https://loveai.tech
依据自然语言处理四大任务等，框架主要设计为有以下五大功能：
- 序列标注， Sequence Labeling
- 文本分类， Text Classification
- 句子关系， Sentence Relation
- 文本生成， Text Generation
- 结构分析， Structure Parsing
因此将有五个主要的功能模块：sl（序列标注）、tc（文本分类）、sr（句子关系）、tg（文本生成）、sp（结构分析）和其他功能模块如we（词向量）。
当前已实现的功能
序列标注，sl
- 中文分词，cws
- 命名实体识别，ner
- 词性标注，pos
- 语义角色标注， srl
结构分析，sp
- 基于图的依存句法分析，gdp
- 基于转移的依存句法分析， tdp
句子关系，sr
- 语句相似度，ss
- 文本蕴含，te
文本分类，tc
- 关系抽取，re
- 情感极性分析，sa
文本生成，tg
- 语言模型，lm
- 聊天机器人，cb
- 机器翻译，mt
- 文本摘要，ts
词向量，we
- 词袋模型，cbow
- base
- hierarchical_softmax
- negative_sampling
- 跳字模型，skip_gram
- base
- hierarchical_softmax
- negative_sampling
安装
本项目基于Pytorch1.0
pip install lightNLP
建议使用国内源来安装，如使用以下命令：
pip install -i https://pypi.douban.com/simple/ lightNLP模型
- ner: BiLstm-Crf
- cws: BiLstm-Crf
- pos: BiLstm-Crf
- srl:BiLstm-Crf
- sa: TextCnn
- re: TextCnn,当前这里只是有监督关系抽取
- lm: Lstm,基础的LSTM，没有使用Seq2Seq模型
- ss: 共享LSTM + 曼哈顿距离
- te:共享LSTM + 全连接
- tdp: lstm + mlp + shift-reduce(移入规约)
- gdp: lstm + mlp + biaffine（双仿射）
- cbow: base、hierarchical_softmax、negative_sampling
- skip_gram: base、hierarchical_softmax、negative_sampling
- cb: Seq2Seq+Attention
- mt: Seq2Seq+Attention
- ts: Seq2Seq+Attention
本文参与?腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-07-19，如有侵权请联系?cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读