Python文本数据清洗：高效去除特殊字符与词频统计实战

original_text = 'Strings implement all of the common sequence operations, along with the additional methods described below.'
processed_list = original_text.lower().split()

new_list = []
for item in processed_list:
    for char_to_remove in '!,.?;:#$%^&*(),':
        item = item.replace(char_to_remove, '')
    new_list.append(item)

print(new_list)
# 这种方法可能会导致不完全的替换或意外的结果，尤其是在处理复杂情况时。
# 例如，如果一个单词包含多个特殊字符，或特殊字符位于单词中间，replace的迭代行为可能不符合预期。

import re

def clean_text_and_get_words(text_input):
    """
    从文本中移除指定特殊字符，并返回一个清理后的单词列表。

    Args:
        text_input (str): 待处理的原始文本字符串。

    Returns:
        list: 包含清理后单词的列表。
    """
    # 将文本转换为小写
    lower_text = text_input.lower()

    # 定义要移除的特殊字符的正则表达式模式
    # 这里的模式包含了原始问题中提到的所有特殊字符
    # r"[!,.?;:#$%^&*(),]"
    # 更通用的做法是使用 string.punctuation
    import string
    # 构建一个匹配所有标点符号的正则表达式
    # re.escape() 用于转义所有可能被解释为正则表达式操作符的字符
    punctuation_pattern = r"[" + re.escape(string.punctuation) + r"]"

    # 使用 re.sub() 替换所有匹配到的特殊字符为空字符串
    # 注意：这里先替换，再分割，可以处理 'word.word' 这样的情况
    # 或者先分割，再对每个词进行替换，取决于具体需求
    # 如果是先分割，再替换，需要确保分割的逻辑正确
    # 考虑到原始问题是先 split() 再替换，我们沿用这个思路

    # 步骤1: 预分割，然后对每个词进行清理
    words_list = lower_text.split()
    cleaned_words = []
    for word in words_list:
        # 对每个词应用正则表达式替换
        cleaned_word = re.sub(punctuation_pattern, "", word)
        if cleaned_word: # 避免添加空字符串（如果一个词只有标点符号）
            cleaned_words.append(cleaned_word)

    return cleaned_words

# 示例输入
input_text = 'Strings implement all of the common sequence operations, along with the additional methods described below.'
# 预期输出: ['strings', 'implement', 'all', 'of', 'the', 'common', 'sequence', 'operations', 'along', 'with', 'the', 'additional', 'methods', 'described', 'below']

cleaned_word_list = clean_text_and_get_words(input_text)
print(f"清理后的单词列表: {cleaned_word_list}")

# 另一个输入示例
input_text_2 = 'operations, along with the additional methods described below.'
cleaned_word_list_2 = clean_text_and_get_words(input_text_2)
print(f"清理后的单词列表 (示例2): {cleaned_word_list_2}")

import re
import string

def clean_and_split_text(text_input):
    """
    从文本中移除所有标点符号，然后分割成单词列表。
    Args:
        text_input (str): 待处理的原始文本字符串。
    Returns:
        list: 包含清理后单词的列表。
    """
    lower_text = text_input.lower()

    # 构建一个匹配所有标点符号的正则表达式
    punctuation_pattern = r"[" + re.escape(string.punctuation) + r"]"

    # 使用 re.sub() 替换所有标点符号为空格，以避免单词粘连
    # 例如 "hello,world" -> "hello world"
    text_without_punctuation = re.sub(punctuation_pattern, " ", lower_text)

    # 按空格分割，并过滤掉空字符串（可能由多个连续空格或替换标点产生）
    cleaned_words = [word for word in text_without_punctuation.split() if word]

    return cleaned_words

input_text = 'Strings implement all of the common sequence operations, along with the additional methods described below.'
cleaned_word_list = clean_and_split_text(input_text)
print(f"优化后的清理和分割: {cleaned_word_list}")

input_text_complex = "Hello, world! How's it going? Python-programming is fun."
cleaned_word_list_complex = clean_and_split_text(input_text_complex)
print(f"复杂文本的清理和分割: {cleaned_word_list_complex}")

from collections import Counter
import re
import string

def count_word_frequencies(text_input):
    """
    从文本中移除特殊字符，并统计每个单词的出现频率。

    Args:
        text_input (str): 待处理的原始文本字符串。

    Returns:
        collections.Counter: 一个Counter对象，包含单词及其频率。
    """
    lower_text = text_input.lower()

    # 构建一个匹配所有标点符号的正则表达式
    punctuation_pattern = r"[" + re.escape(string.punctuation) + r"]"

    # 替换标点符号为空格，然后分割
    text_without_punctuation = re.sub(punctuation_pattern, " ", lower_text)

    # 获取清理后的单词列表
    cleaned_words = [word for word in text_without_punctuation.split() if word]

    # 使用 Counter 统计词频
    word_frequencies = Counter(cleaned_words)

    return word_frequencies

# 示例输入
input_text = 'Strings implement all of the common sequence operations, along with the additional methods described below. operations are important.'
word_counts = count_word_frequencies(input_text)
print(f"\n词频统计结果: {word_counts}")

# 获取最常见的词
print(f"最常见的3个词: {word_counts.most_common(3)}")