wordcloud词云可视化
发布时间
阅读量：
阅读量
安装：
pip install wordcloud(有时会有VC++ 14缺失的问题)
解决方案：
从GitHub上获取wordcloud的软件包，并访问以下链接地址：[https://github.com/amueller/word_cloud/)。
解压完成后，请前往相应的安装目录，并使用Python运行[setup.py]脚本完成安装过程。
使用：
import pandas as pd
import jieba
from langconv import * #汉字繁简体转换，需下载langconv.py和zh_wiki.py文件，并将其放在与代码同一目录下
from tongyici import * #引用自定义同义词字典，tongyici.py需与代码在同一目录下
import re
from collections import Counter #collections模块提供了一些有用的集合类，Counter是一个简单的计数器
#以上用于分词、以下用于词云可视化
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import imageio
#分词
# 转换繁体到简体
def fan_to_jian(line):
line = Converter('zh-hans').convert(line)
line.encode('utf-8')
return line
# 添加自定义分词
def add_word(list):
for i in list:
jieba.add_word(i)
# 删除自定义分词
def del_word(list):
for i in list:
jieba.del_word(i)
# 用jieba对商品名称进行文本分析
add_ci = ['3d max', 'altium designer', 'mac os', 'spring boot', 'android studio', 'deep learning ai', 'machine learning', 'visual c++', 'visual studio', 'cloud docker', 'atey ghalian', 'john park']
del_ci = ['视频教程', '自学教材']
add_word(add_ci)
del_word(del_ci) #或jieba.add_word('视频教程', 0)动态修改词典，使之分成视频和教程2个词
jieba.re_han_default = re.compile('(.+)', re.U) #用于解决中间带空格或其他特殊符号的单词分成多个词的问题
jieba.load_userdict('c:/ProgramData/Anaconda3/Lib/site-packages/jieba/mydict.txt') #导入自定义字典
file = pd.read_excel(r'c:\users\administrator\desktop\商品信息v2.0版.xlsx') #读取本地文件
title = list(file['商品名称']) #商品名称转化成list
title_s = [] #商品名称分词list
for line in title:
text = fan_to_jian(line).lower()#将繁体字转换成简体字并将大写字母转换成小写
title_cut = jieba.lcut(text) #分词成list，lcut()函数返回list
#替换同义词
new_cut = [] #替换同义词后的新数据
for fenci in title_cut: #替换同义词
if fenci in dian: #判断是否在字典中
val = dian[fenci] #获取同义词的统一词
new_cut.append(val)
else:
new_cut.append(fenci)
title_s.append(new_cut)
# print(title_s)
#导入停用词
stopwords = ['教程'] #停用词list，可将停用词表中没有的先加入进去
for line in open(r'e:/Python/mypy/stopwords/中英文.txt', 'r+', encoding='utf-8'):
stopwords.append(line.strip())#将停用词字典内容写入停用词list中备用
#剔除商品名称分词中的停用词
title_clear = [] #剔除停用词后的商品名称分词
for line in title_s:
line_clear = [] #每个商品剔除停用词后的商品名称分词
for word in line:
if word not in stopwords and word.strip(): #判断分词不在停用词字典中，并且不为空
line_clear.append(word.strip()) #去除词两侧的空格
title_clear.append(line_clear)
# print(title_clear)
#去除每个商品名称中的重复分词，提高准确率
title_clear2 = []
for line in title_clear:
line_clear2 = []
for word in line:
if word not in line_clear2:
line_clear2.append(word.strip())
title_clear2.append(line_clear2)
# print(title_clear2)
# 去除标点符号后将所有商品名称分词放入同一个list中
allwords = []
r = "[^0-9A-Za-z\u4e00-\u9fa5]" #非数字、字母和汉字
for line in title_clear2:
for word in line:
ci = re.sub(r, '', word).strip() #去除标点符号
if ci: #ci若为空则原word为标点符号，如果ci不为空，则进行下步
allwords.append(ci)
# print(allwords)
#把allwords列表转为DataFrame数据，类似表格
df_allwords = pd.DataFrame({'allwords':allwords}) #前面一个allwords为columns列的名称
# print(df_allwords)
#对过滤去重的词汇进行分类汇总
#value_counts()的作用是统计表格某列有多少不同值，并计算每个不同值在该列中有多少重复值，需要指定对哪一列或行使用。
#reset_index()的作用是重新设置DataFrame的连续行索引index。
word_count = df_allwords.allwords.value_counts().reset_index()
# print(word_count)
word_count.columns = ['word', 'count'] #重命名列的名称
print(word_count)
# 获取所有分词及出现次数(按出现次数降序排列)，需引用from collections import Counter
c = Counter(allwords).most_common() #most_common(200)获取出现频率前200的分词及出现次数
# print(c)
#词云可视化
pic = imageio.imread('white.bmp') #读取图片，作为词云形状，white.bmp透明背景图
stopwords = set('') #设置停用词，适用于停用词较少时
stopwords.update(['教程']) #添加新停用词
wc = WordCloud(font_path='ygyxsziti2.0.ttf', max_words=2000, stopwords='教程', background_color='black', mask=pic, max_font_size=60) #WordCloud()用于生成和绘制词云对象，background_color默认为黑色，此处设置为白色，stopwords使用jieba分词器时此处似乎无效，原因应该是下面的word_count中没有去除上面添加的停用词。
wc2 = wc.fit_words({x[0]:x[1] for x in word_count.head(200).values}) #fit_words()根据分词和词频创建一个词云,head(100)取前100个词进行可视化
plt.imshow(wc2, interpolation='bilinear')#imshow()在轴上显示图像，interpolation='bilinear'图优化，bilinear双线性
plt.axis('off') #axis()获取或设置轴属性，off为关闭轴线及标签(去边框)
# plt.savefig('e:/Python/mypy/数据分析/词云.jpg', dpi=200) #savefig()保存
wc2.to_file('e:/Python/mypy/数据分析/词云.jpg') #to_file()保存
plt.show() #显示图像参数说明：
font_path : string #字体路径，如：font_path = '黑体.ttf'，不指定字体中文会乱码，繁体字需使用对应字体（下载：正体(繁)中文点阵字Zfull-BIG5.ttf，使用时文件名必须去掉中文部分，且会将简体字也转化成繁体字输出）
width : int (default=400) #输出的画布宽度，默认为400像素
height : int (default=200) #输出的画布高度，默认为200像素
prefer_horizontal : float (default=0.90) #词语水平方向排版出现的频率，默认 0.9 （所以词语垂直方向排版出现频率为 0.1 ）
mask : nd-array or None (default=None) #如果参数为空，则使用二维遮罩绘制词云。如果 mask 非空，设置的宽高值将被忽略，遮罩形状被 mask 取代。
除全白（#FFFFFF）的部分将不会绘制，其余部分会用于绘制词云。如：bg_pic = imageio.imread('读取一张图片.png')，背景图片的画布一定要设置为白色（#FFFFFF），然后显示的形状为不是白色的其他颜色。可以用ps工具将自己要显示的形状复制到一个纯白色的画布上再保存。
scale : float (default=1) #按照比例进行放大画布，如设置为1.5，则长和宽都是原来画布的1.5倍。
min_font_size : int (default=4) #显示的最小的字体大小
font_step : int (default=1) #字体步长，如果步长大于1，会加快运算但是可能导致结果出现较大的误差。
max_words : number (default=200) #要显示的词的最大个数
stopwords : set of strings or None #设置需要屏蔽的词，如果为空，则使用内置的STOPWORDS
background_color : color value (default=”black”) #背景颜色，如background_color='white',背景颜色为白色。
max_font_size : int or None (default=None) #显示的最大的字体大小
mode : string (default=”RGB”) #当参数为“RGBA”并且background_color不为空时，背景为透明。
relative_scaling : float (default=.5) #词频和字体大小的关联性
color_func : callable, default=None #生成新颜色的函数，如果为空，则使用 self.color_func
regexp : string or None (optional) #使用正则表达式分隔输入的文本
collocations : bool, default=True #是否包括两个词的搭配
colormap : string or matplotlib colormap, default=”viridis” #给每个单词随机分配颜色，若指定color_func，则忽略该方法。
random_state : int or None #为每个词返回一个PIL颜色，设置有多少种随机生成状态，即有多少种配色方案
margin：int (default=2) #设置页面边距
ranks_only：default=None #是否只用词频排序而不是实际词频统计值（不确定是否是此作用）
normalize_plurals：bool, default=True #移除单词末尾的's'
contour_width： float (default=0) #如果mask(蒙版、遮罩)不是None且contour_width >0，则绘制蒙版轮廓。
contour_color：color value (default="black")#蒙版轮廓的颜色。
repeat：bool, default=False #是否重复单词和短语，直到达到max_words或min_font_size。
fit_words(frequencies) #根据词频生成词云【frequencies，为字典类型】
generate(text) #根据文本生成词云
generate_from_frequencies(frequencies[, ...]) #根据词频生成词云
generate_from_text(text) #根据文本生成词云
process_text(text) #将长文本分词并去除屏蔽词（此处指英语，中文分词还是需要自己用别的库先行实现，使用上面的 fit_words(frequencies) ）
recolor([random_state, color_func, colormap])#对现有输出重新着色。重新上色会比重新生成整个词云快很多。
to_array() #转化为 numpy array
to_file(filename) #输出到文件问题：
1、图片没有正常显示：
a、用plt.savefig(“此处是生成图片的路径”)来存储生成的云词图：
将plt.savefig放在plt.show之后，结果只生成了空白图。实际上在plt.show() 后已经创建了一个新的空白图片（坐标轴），这时再用plt.savefig() 就会保存这个新生成的空白图片。所以，只要把plt.savefig放在plt.show之前即可解决这个问题。
代码如下：plt.savefig(‘e:/Python/mypy/数据分析/词云.jpg’, dpi=200)
b、另一种输出图像的方式 .to_file：
在WordCloud中，自带.to_file可以将云词图输出到文件。
具体方法：将代码中plt.savefig一行替换为my.to_file(“e:/Python/mypy/数据分析/词云.jpg”)即可。
c、两种输出方式的区别：
- plt.savefig通常会生成尺寸与终端屏幕显示的简图相当大小（432×288像素），通过调整dpi值可以优化图像质量。
- .to_file则会创建每个字符都精确呈现的整体词云图像，在任何细节处都能观察到每一个像素经过精心处理。
为便于比较效果，在后续讨论"WordCloud参数调节"时会分别采用以下设置：
- scale=2时采用图片保存方式
- scale=3时同样采用图片保存方式
- scale=1时切换至完整文本生成模式
2、生成图像清晰度的调节（此部分为转载）：
a、图片大小和精度的影响：
用plt.savefig默认生成的图感觉不是很清晰，尺寸不够大，所以在plt.savefig中加上参数dpi调整精度。当然，同样一张图，精度越高，自然尺寸也是越大的。不过，精度调整成多少合适要看情况而定。虽然理论上精度越大就越清晰，但是在遮罩图、词数量等因素确定的情况下，有时候更大的精度只是把图的尺寸放大，但肉眼可见的清晰程度并不会真的就提高。
如果图太小太密集，那么可能是默认精度的局限导致不清晰。需要调整精度参数dpi放大图片。
但如果图片足够大，字看起来也不小，但是仍然不清晰，或者布局不自然，那么有可能是云词图生成时本身的参数设置问题。可见下面的描述。
b、WordCloud参数的调节：
my=WordCloud(background_color="white",max_words=2000,mask=coloring,max_font_size=60,random_state=42,scale=8,font_path="C:\Windows\Fonts\msyhbd.ttf").generate(word_space_split) #这里word_space_split是前面生成的以空格分割的需要生成云词的词库字符串（str）以下是经过同义改写的文本
底图2（透明底，300×300）：
底图1与底图2生成WordCloud图表效果比较：除了background_color和mode这两个参数外其他参数均保持不变
注：
底图尺寸之间存在一定差异。
生成图片采用plt.savefig函数保存，并设置参数dpi=200。
生成图片在布局上也有所差别。
本文中所有云词图实例均使用"底图1"作为基准（该底图为白色背景）。
是否存在明显的差异呢？因此建议移除与'2'和'32'对应的云词图数据
scale=32的云词图如下（使用plt.savefig输出，dpi=200）：
scale=2的云词图如下（使用.to_file输出）：
值得我们关注的是，在图示中右上方标注为"唯有"的小方块处（此处采用较小字体标记），其周围区域呈现出明显的视觉效果；随机参数设置的不同会导致图像分布出现显著变化。
注释表明，在该云词图的案例中，库中的‘1f60a’等类似字符并未被删除。这些原本就是用来表示某些emoji的字符。我认为这种现象并不构成乱码问题。
全部评论 (0)
还没有任何评论哟~