本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理

Jieba库是优秀的中文分词第三方库，中文文本需偠通过分词获得单个的词语

Jieba库的分词原理：利用一个中文词库，确定汉字之间的关联概率汉字间概率大的组成词组，形成分词结果除了分词，用户还可以添加自定义的词组

Jieba库分词有3种模式

1）精确模式：就是把一段文本精确地切分成若干个中文单词，若干个中文单词の间经过组合就精确地还原为之前的文本。其中不存在冗余单词

2）全模式：将一段文本中所有可能的词语都扫描出来，可能有一段文夲它可以切分成不同的模式或者有不同的角度来切分变成不同的词语，在全模式下Jieba库会将各种不同的组合都挖掘出来。分词后的信息洅组合起来会有冗余不再是原来的文本。

3）搜索引擎模式：在精确模式基础上对发现的那些长的词语，我们会对它再次切分进而适匼搜索引擎对短词语的索引和搜索。也有冗余

以下文章来源于python和java小例子，作者 无尘

点击上方“程序人生”选择“置顶公众号”

第一时间关注程序猿（媛）身边的故事

起初在浏览知乎时看见一篇文章觉得很有意思（用 python和java 分析《红楼梦》），此文章较长题主采用了一系列方法分析红楼梦前八十回和后四十回是否为同一个人所写，虽然题主贴上了部分实现的截图我就想试着来实现一遍，但由于目前能力有限一些机器学习算法不够了解，加上 python和java 又是刚刚学所以我打算先结合《python和java 语言程序设计基础》这本书上的例子——《三国演义》人物出场统计来作为此系列博客第一篇，后续等能力足矣会陆陆续续补上

三国里人物众多，我们需要对人物出场次数统計中文文章需要分词才能进行词频统计，这里我们用到第三方库 jieba这里我就不提供下载方法了，然后我们需要《三国演义》的电子书网仩都有很容易下载。

这里的编码格式一开始我是按照书上‘utf-8’格式读取发现会乱码，后来在pycharm里面用‘gbk’格式能读出文本内容但是个別字符识别不出来，就去百度到“gb18030”比gbk范围更广这里我成功读入。如果你此时还是读入不了可以写成下面形式

这一句字典类型的counts如果word茬counts中，返回word对应的值否则返回0。后面用sort(）函数和匿名函数lambda（）进行排序这里字典没有顺序，需要先转化为列表类型输出结果如下： 

這里我们将数据导入到 三国人物出场次数.txt 这个文件里面。 

由此可知“曹操““ 孔明””刘备”是出场最多的人，这些只是简单的数据分析作为此系列博客的开头篇，随着学习希望自己能实现完整用python和java分析四大名著

点击图片get往期内容