python有哪些提取文本摘要的库

google goose

　　

1

2

3

4

5

6

7

8

9

10

11

12

>>> from goose import Goose

>>> url = 'http://editioncnncom/2012/02/22/world/europe/uk-occupy-london/indexhtmlhpt=ieu_c2'

>>> g = Goose()

>>> article = gextract(url=url)

>>> articletitle

u'Occupy London loses eviction fight'

>>> articlemeta_description

"Occupy London protesters who have been camped outside the landmark St Paul's Cathedral for the past four months lost their court bid to avoid eviction Wednesday in a decision made by London's Court of Appeal"

>>> articlecleaned_text[:150]

(CNN) -- Occupy London protesters who have been camped outside the landmark St Paul's Cathedral for the past four months lost their court bid to avoi

>>> articletop_imagesrc

http://i2cdnturnercom/cnn/dam/assets/111017024308-occupy-london-st-paul-s-cathedral-story-topjpg

2 python SnowNLP

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

from snownlp import SnowNLP

  

s = SnowNLP(u'这个东西真心很赞')

  

swords # [u'这个', u'东西', u'真心',

# u'很', u'赞']

  

stags # [(u'这个', u'r'), (u'东西', u'n'),

# (u'真心', u'd'), (u'很', u'd'),

# (u'赞', u'Vg')]

  

ssentiments # 09769663402895832 positive的概率

  

spinyin # [u'zhe', u'ge', u'dong', u'xi',

# u'zhen', u'xin', u'hen', u'zan']

  

s = SnowNLP(u'「繁体字」「繁体中文」的叫法在台湾亦很常见。')

  

shan # u'「繁体字」「繁体中文」的叫法

# 在台湾亦很常见。'

  

text = u'''

自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。

它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。

自然语言处理是一门融语言学、计算机科学、数学于一体的科学。

因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，

所以它与语言学的研究有着密切的联系，但又有重要的区别。

自然语言处理并不是一般地研究自然语言，

而在于研制能有效地实现自然语言通信的计算机系统，

特别是其中的软件系统。因而它是计算机科学的一部分。

'''

  

s = SnowNLP(text)

  

skeywords(3) # [u'语言', u'自然', u'计算机']

  

ssummary(3) # [u'因而它是计算机科学的一部分',

# u'自然语言处理是一门融语言学、计算机科学、

# 数学于一体的科学',

# u'自然语言处理是计算机科学领域与人工智能

# 领域中的一个重要方向']

ssentences

  

s = SnowNLP([[u'这篇', u'文章'],

[u'那篇', u'论文'],

[u'这个']])

stf

sidf

ssim([u'文章'])# [03756070762985226, 0, 0]

由于语料缺乏，前期若使用到情感分析，建议暂时使用SnowNLP（此模块主要使用淘宝评论语料）做情感挖掘，但不仅仅为单纯调用，需要优化，下面是一些实践思考：

可在此基础上优化，比如文本需要特别处理，除了平常的去停用词外，还可以需要对输入的文本结合词性等进行处理。

下面是一些常识：

一）无情感的词语(如去停用词，去掉语气词，无词性标签的词语）

二）对于文本过长，则可以考虑提取关键词或抽取文本摘要后再提取关键词

对于后者实践结果差异明显：

以"发布了头条文章： 《5分钟11亿！京东双11场景化产品消费增长明显》 5分钟11亿！京东双11场景化产品消费增长明显 "为例子， 显然该文本为“积极”文本。

1）s = SnowNLP（"发布了头条文章：《5分钟11亿！京东双11场景化产品消费增长明显》 5分钟11亿！京东双11场景化产品消费增长明显"）

得分为05，明显不符合

2）s = SnowNLP（“ ”join(jiebaanalysetextrank("发布了头条文章：《5分钟11亿！京东双11场景化产品消费增长明显》 5分钟11亿！京东双11场景化产品消费增长明显")))

而对于文本特别长的，则可以先抽取摘要，再对摘要提取关键词。

这主要由于此SnowNLP主要用贝叶斯机器学习方法进行训练文本，机器学习在语料覆盖上不够，特征上工程处理不当会减分，也没考虑语义等。

为何要考虑语义层面：

以“ 苏宁易购，是谁给你们下架OV的勇气” 中的“ 下架”其实才是中心词（为表达愤怒的文本），但“ 勇气 ”为下架的宾语（其为积极的文本），此句应该结果小于05，但实际为088，去掉“苏宁易购”则为06>

python编程经典例子：

1、画爱心表白、图形都是由一系列的点(X，Y)构成的曲线，由于X，Y满足一定的关系，所以就可以建立模型，建立表达式expression，当满足时，两个for循环（for X in range；for Y in range）就会每行每列的打印。

2、快递查询工具、此Python小项目需要用到json与requests两个库，还需调用API。

3、用python编程完成图像识别、鼠标模拟，需要调用OpenCV框架。

扩展资料：

Python的设计目标之一是让代码具备高度的可阅读性。它设计时尽量使用其它语言经常使用的标点符号和英文单字，让代码看起来整洁美观。它不像其他的静态语言如C、Pascal那样需要重复书写声明语句，也不像它们的语法那样经常有特殊情况和意外。

Python开发者有意让违反了缩进规则的程序不能通过编译，以此来强制程序员养成良好的编程习惯。并且Python语言利用缩进表示语句块的开始和退出，而非使用花括号或者某种关键字。增加缩进表示语句块的开始，而减少缩进则表示语句块的退出，缩进成为了语法的一部分。