神刀安全网

小蛇学python(12)分析《今生今世》人物关系图谱

《今生今世》是渣男胡兰成所写的一部自传体小说。今天我们就来分析一下在他所写的自传中的人物关系图谱,分析一下胡兰成到底和多少女人有关系。

代码奉上

# -*- coding: utf-8 -*- #@author: Yuhao Zhang #2018.5.30  import jieba import codecs from collections import defaultdict from pandas import DataFrame import pandas as pd  #路径设置。 #文档介绍 #jsjs.txt是胡兰成写的小说《今生今世》。 #person.txt是一个语料库,里面放了很多该小说的角色名称。 #synonymous_dict.txt是角色的别名 #其他两个文件是存放程序计算所得各个人物关系之间的边的权重 TEXT_PATH = 'jsjs.txt' DICT_PATH = 'person.txt' SYNONYMOUS_DICT_PATH = 'synonymous_dict.txt' SAVE_NODE_PATH = 'node.csv' SAVE_EDGE_PATH = 'edge.csv'  #类的初始化 class RelationshipView:     def __init__(self, text_path, dict_path, synonymous_dict_path):         self._text_path = text_path         self._dict_path = dict_path         self._synonymous_dict_path = synonymous_dict_path         self._person_counter = defaultdict(int)         self._person_per_paragraph = []         self._relationships = {}         self._synonymous_dict = {}      def generate(self):         self.count_person()         self.calc_relationship()         self.save_node_and_edge()      def synonymous_names(self):         with codecs.open(self._synonymous_dict_path, 'r', 'utf-8') as f:             lines = f.read().split('/n')         for l in lines:             self._synonymous_dict[l.split(' ')[0]] = l.split(' ')[1]         return self._synonymous_dict      def get_clean_paragraphs(self):         new_paragraphs = []         last_paragraphs = []         with codecs.open(self._text_path, 'r', 'utf-8') as f:             paragraphs = f.read().split('/r/n')             paragraphs = paragraphs[0].split('/u3000')         for i in range(len(paragraphs)):             if paragraphs[i] != '':                 new_paragraphs.append(paragraphs[i])         for i in range(len(new_paragraphs)):             new_paragraphs[i] = new_paragraphs[i].replace('/n', '')             new_paragraphs[i] = new_paragraphs[i].replace(' ', '')             last_paragraphs.append(new_paragraphs[i])         return last_paragraphs      def count_person(self):         paragraphs = self.get_clean_paragraphs()         synonymous = self.synonymous_names()         print('start process node')         with codecs.open(self._dict_path, 'r', 'utf-8') as f:             name_list = f.read().split(' 10 nr/n')         for p in paragraphs:             jieba.load_userdict(self._dict_path)             poss = jieba.cut(p)             self._person_per_paragraph.append([])             for w in poss:                 if w not in name_list:                     continue                 if synonymous.get(w):                     w = synonymous[w]                 self._person_per_paragraph[-1].append(w)                 if self._person_counter.get(w) is None:                     self._relationships[w] = {}                 self._person_counter[w] += 1         return self._person_counter      def calc_relationship(self):         print("start to process edge")         for p in self._person_per_paragraph:             for name1 in p:                 for name2 in p:                     if name1 == name2:                         continue                     if self._relationships[name1].get(name2) is None:                         self._relationships[name1][name2] = 1                     else:                         self._relationships[name1][name2] += 1         return self._relationships      def save_node_and_edge(self):         excel = []         for name, times in self._person_counter.items():             excel.append([])             excel[-1].append(name)             excel[-1].append(name)             excel[-1].append(str(times))         data = DataFrame(excel, columns=['Id', 'Label', 'Weight'])         data.to_csv('node.csv', encoding='gbk')          excel = []         for name, edges in self._relationships.items():             for v, w in edges.items():                 if w > 3:                     excel.append([])                     excel[-1].append(name)                     excel[-1].append(v)                     excel[-1].append(str(w))         data = DataFrame(excel, columns=['Source', 'Target', 'Weight'])         data.to_csv('edge.csv', encoding='gbk')          print('save file successful!')  if __name__ == '__main__':     v = RelationshipView(TEXT_PATH, DICT_PATH, SYNONYMOUS_DICT_PATH)     v.generate() 

先将代码全部贴出来,大家复制粘贴即可运行,接下来我再慢慢得一行一行仔细讲解代码逻辑。

先把程序运行效果图贴出来。

小蛇学python(12)分析《今生今世》人物关系图谱

基础关系图谱

小蛇学python(12)分析《今生今世》人物关系图谱

恋人关系图谱

设计思想

整个程序的实现过程是这样的。

首先,我们预先准备好语料库。(里面含有小说主人公姓名以及别名,这样做的目的降低了程序的难度,不然还要涉及到知识图谱的实体识别。有关知识图谱的东西我最近在看,以后会写这方面博客)

然后我们将这篇将近三十万字的小说按段落分开,对每一段进行单独分析,对两个实体之间的边的权重进行计算。具体的说,它的权重是如何计算的呢?比如第一段我们结合语料库发现里面有三个胡兰成,一个张爱玲,一个周佛海。那么我们就给胡兰成和张爱玲之间的边权重更新为3,张爱玲和周佛海之间更新为1,胡兰成和周佛海之间更新为3。然后将每个段落的每两个点之间的权重加和,最后写入excel表中保存为csv格式。这是为了方便使用Gephi可视化。

当然同时我们也进行了节点大小的计算,其实就是单纯计算这个实体名字在文中出现的次数。比如胡兰成出现了5752次,那么它在可视化图中的大小你可以理解为5752个单位这么大。

小蛇学python(12)分析《今生今世》人物关系图谱

node.csv

小蛇学python(12)分析《今生今世》人物关系图谱

edge.csv

代码详解

我只讲我认为最难懂的部分,一些我认为简单的如果你不懂可以私信评论我都可以,我一般会很快回复。

我认为最难懂的就是count_person()函数中的一部分,当然这一部分也可以说是精华。

        for p in paragraphs:             jieba.load_userdict(self._dict_path)             poss = jieba.cut(p)             self._person_per_paragraph.append([])             for w in poss:                 if w not in name_list:                     continue                 if synonymous.get(w):                     w = synonymous[w]                 self._person_per_paragraph[-1].append(w)                 if self._person_counter.get(w) is None:                     self._relationships[w] = {}                 self._person_counter[w] += 1         return self._person_counter 

首先在一个将小说每段作为一个字符串元素的列表paragraphs中循环,也就是说p是小说中的每一段。

然后在加载了语料库之后,对该段进行结巴分词,并将该段分词结果存在poss列表中。如果语料库中的实体在poss中可以找的到,那么我们就从存储别名字典中依据这个实体来找他的唯一名字(因为有可能是别名,我们要统一换成真正的姓名进行加权)。

get()是字典这个类型所有的属性,在该段代码中体现为,判断该字典中有无含有以w为key的元素。

大家也许会疑惑,为何self._person_counter是一个字典呢?这源于程序一开头的一行代码。

self._person_counter = defaultdict(int) 

想要理解这个defaultdict的作用,将我下面贴出来的这几行代码敲进去试试就知道了。它其实起到一个给字典的值设置一个默认值的快捷方式。

from collections import defaultdict  person = defaultdict(int)  test_list = ['胡兰成', '张爱玲', 'Bob', 'Bob', 'Nick', '胡兰成']  for p in test_list:     person[p] += 1 print(person) 

可视化

可视化我是用到了Gephi这个软件。

PS下载这个软件需要用到java组件,需要下载一个jre,听过来人一句劝告,千万不要下载最新的那个10的那个版本。

然后就是Gephi简单的使用教程。放几张网图,大家学习一下。

小蛇学python(12)分析《今生今世》人物关系图谱

新建工程

小蛇学python(12)分析《今生今世》人物关系图谱

导入数据

小蛇学python(12)分析《今生今世》人物关系图谱

选择样式

小蛇学python(12)分析《今生今世》人物关系图谱

修改字体

小蛇学python(12)分析《今生今世》人物关系图谱

调整布局

转载本站任何文章请注明:转载至神刀安全网,谢谢神刀安全网 » 小蛇学python(12)分析《今生今世》人物关系图谱

分享到:更多 ()