使用多个单词边界定界符将字符串拆分为单词

处理文本数据时，常见的任务是将字符串拆分为单个单词。 Python 的 str.split() 方法提供了一个简单的解决方案，但它仅支持单个分隔符作为其参数。在处理包含多种类型的单词边界（例如标点符号）的文本时，此限制可能会成为障碍。

Python re 模块提供了一个强大的替代方案：re.split()。此函数允许您指定用作单词边界定界符的模式。该模式可以包含正则表达式，以同时匹配多种类型的边界。

例如，要将以下字符串拆分为单词，将空格和标点符号都处理为单词边界：

"Hey, you - what are you doing here!?"

您可以使用以下正则表达式模式：

'\W '

此模式匹配任何非单词字符序列（字母、数字或下划线）。当与 re.split() 一起使用时，它将在这些字符的所有出现处分割字符串，从而有效地创建单词列表。

以下是在 Python 中使用它的方法：

import re

text = "Hey, you - what are you doing here!?"
words = re.split('\W ', text)

print(words)

输出：

['Hey', 'you', 'what', 'are', 'you', 'doing', 'here']

如您所见，re.split() 有效地将字符串拆分为单个单词，尽管存在多个分隔符，但仍保留了正确的单词边界。这种灵活性使其成为处理复杂文本解析场景（遇到多个单词边界分隔符）的宝贵工具。