python数据挖掘-文本挖掘(词频统计)

    import os
    import os.path
    import codecs
    filePaths=[]
    fileContents=[]
    
    # c盘的Documents文件夹下放好自己要进行词频统计的txt文件
    # os.walk()方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下
    for root,dirs,files in os.walk('C:\ Documents'):
    for name in files:
        print(name)
        filePath = os.path.join(root,name)
        filePaths.append(filePath)
        f=codecs.open(filePath,'r','utf-8')
        fileContent =f.read()
        f.close()
        fileContents.append(fileContent)
    
    
    # 数据清洗
    Contents=""
    for i in range(len(fileContents)):
    # strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）
    Contents= Contents+(str(fileContents[i])).strip()
    
    # 文件基本都是中文，我们也只想对中文词汇进行词频统计
    import re
    # 利用正则，匹配一个或以上的汉字
    pattern = re.compile(r'[\u4e00-\u9fa5]+')
    filterdata = re.findall(pattern,Contents)
    cleaned_data= ''.join(filterdata)
    # print(cleaned_data)
    
    import pandas
    corpos = pandas.DataFrame({
    'filePath':filePaths,
    'fileContent':cleaned_data
    })
    
    import jieba
    # 还需指明分词的出处
    segments=[]
    filePaths=[]
    
    for index,row in corpos.iterrows():
    filePath = row['filePath']
    fileContent = row['fileContent']
    # 调用cut方法，对文章内容进行分词
    segs = jieba.cut(fileContent)
    for seg in segs:
        segments.append(seg)
        filePaths.append(filePath)
    
    # 把得到的分词和分词来源再存到一个数据框中
    segmentDataFrame = pandas.DataFrame({
    'segment':segments,
    'filePath':filePaths
    })
    
    
    import numpy
    # 进行词频统计
    segStat=segmentDataFrame.groupby(
    by=['segment']
    )['segment'].agg({'计数':numpy.size})
    
    segStat = segStat.reset_index().sort_values(
     '计数',
    ascending=False
    )
    
    print(segStat)
    
    # 这里就用到了停分词文件
    stopwords=pandas.read_csv("./stopwords.txt",index_col=False,names=['stopword'], encoding='utf-8')
    print(stopwords)
    fSegStat=segStat[
     #   ~取反符号，这里意思就是不包括停分词文件中的这些停分词 ，即fSegStat去掉了那些无用的分词
     ~segStat.segment.isin(stopwords.stopword)
    ]
    
    # wordcloud库，可以说是python非常优秀的词云展示第三方库
    from wordcloud import WordCloud
    # Matplotlib 是一个 Python 的 2D绘图库
    import matplotlib.pyplot as plt
    
    wordcloud = WordCloud(
    
    # simhei.ttf先百度下载字体文件，再在这里写保存字体文件的路径
    font_path="C:\ Downloads\ simhei.ttf",
    background_color='black',
    # 设置最多显示的词汇数
    max_words = 20
    )
    
    # to_dict将list数据转成字典
    words=fSegStat.set_index('segment').to_dict()
    wordcloud.fit_words(words['计数'])
    plt.imshow(wordcloud)
    # 不展示坐标系
    plt.axis('off')
    plt.show()
    plt.close()
    
    
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
      
    
    AI写代码