|
#!/usr/bin/python
|
# -*- coding: UTF-8 -*-
|
|
import sys
|
from numpy import *
|
|
'''
|
把原始的txt文件， 去重保存成新文件。
|
|
去重规格： 选取四个字中完全不重复的词语，比如“万马奔腾”，删除“鼎鼎有名”，“兢兢业业”，“打探打探”，“不干不净”等。
|
|
'''
|
|
base_txt_file = sys.argv[1]
|
exclude_duplicated = sys.argv[2]
|
|
|
with open(exclude_duplicated, 'w', encoding='utf-8') as final_f:
|
with open(base_txt_file, 'r', encoding='utf-8-sig') as f:
|
for word in f.read().splitlines():
|
#print(word)
|
if len(word) == 4:
|
_list_unique = set()
|
_list_unique.add(word[0])
|
_list_unique.add(word[1])
|
_list_unique.add(word[2])
|
_list_unique.add(word[3])
|
if len(_list_unique) == 4:
|
final_f.write(word)
|
final_f.write('\n')
|
else:
|
print(word)
|
else:
|
print(word)
|
