Skip to content

利用 Text Rank,LDA 等算法进行中文文本摘要

Notifications You must be signed in to change notification settings

YangBin1729/textSum

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

5 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

中文文本摘要

基于Text Rank 和 LDA 模型,进行中文文本摘要:

训练模型

参见 notebooks

模型:

  • TextRank
    • 基于中文维基百科,利用gensim模块训练得到词向量
    • 词向量累加表示句向量;计算句向量的相似度矩阵,再利用textrank算法,从中得到摘要
  • LDA
    • 基于新闻数据,训练得到LDA模型
    • 计算段落的主题分布,然后计算各个句子的主题分布,求得两者的相似度,从中得到摘要

将模型文件保存在 saved/ 文件夹里

模型文件链接:百度网盘提取码:iz1j

TODO:

bertSum 模型

运行:

> cd textSum
> python app.py

About

利用 Text Rank,LDA 等算法进行中文文本摘要

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published