#!/usr/bin/python
# -*- coding: UTF-8 -*-

import sys
import re

'''
统计文章中，汉字的字频

输入可以是任意文本；
输出所有的字的清单，和每个汉字出现的次数。

一般用于检查，清单是否全部是唯一的汉字，即最终输出的全部汉字的词频/出现次数都是1.
'''


base_txt_file = sys.argv[1]

with open(base_txt_file, 'r', encoding='utf-8-sig') as f:
    lines = f.readlines()
    contents = []           # 保存每条新闻的内容
    i = 0
    words = []              # 用来保存所有的汉字
    strs = ''               # 用于保存保留下的所有汉字
    # 将文本文件中的内容进行分割，制表符前面的内容当作标题，制表符后面的符号当做内容，将这两部分内容放到列表中
    for line in lines:                  # 我分析文本内容得知，每条新闻是按行存放的，所以使用python的读取行的函数就可以分离出每条新闻
        content = line
        contents.append(content)
        # 将文本内容只保留汉字部分，去除标点符号以及空格
        content = re.sub(r'\d', "", content)
        content = re.sub(r'\s', "", content)
        content = re.sub(
            pattern='[,，\-<>＇《》・｜～（）＞&\*－+＂%{}=-、。.—!！?？":：；;\/\.【】()\']', repl='', string=content)
        strs = strs + content
        # print(content)
        words.extend(list(content))

# 统计每一个汉字的出现次数，使用字典的形式进行统计
result = {}
for word in words:
    res = result.get(word, 0)
    if res == 0:
        result[word] = 1
    else:
        result[word] = result[word] + 1
print(len(words))
print(len(result))
result = sorted(result.items(),  key=lambda kv: (kv[1], kv[0]), reverse=True)
result = dict(result)
print(result)
'''
result = sorted(result.items(),  key=lambda kv: (kv[1], kv[0]), reverse=True)
result = dict(result)
print("使用字典的形式进行统计的词数结果：")
new_a = {}
for i, (k, v) in enumerate(result.items()):
    new_a[k] = v
    if i == 19:
        print(new_a)
        break
new_a.clear()

# 统计每一个汉字的出现次数，使用字符串的内置函数
# print(strs)
result2 = []
# print('使用字符串的内置函数统计的所有的汉字数为：', end="  ")
# print(len(strs))
for w in set(strs):
    num = strs.count(w)
    tem = [w, num]
    result2.append(tem)
result2 = sorted(result2, key=lambda x: x[1], reverse=True)

# 统计词频,使用上一步得到二维列表
fre = []
for item in result2:
    item[1] = item[1] / len(words)
    fre.append(item)
print('使用二维列表得到的字频结果：')
print(fre[:10])

# 统计词频累计,使用上一问得到二维列表
cum = []
sum = 0
for item in fre:
    sum = sum + item[1]
    item[1] = sum
    cum.append(item)
print('使用二维列表得到的累计字频结果：')
print(cum[:10])
'''