选择性删除非 ASCII 字符
处理文本数据通常需要删除非 ASCII 字符,同时保留某些符号例如空格和句点。虽然基本过滤方法可能会删除所有非 ASCII 字符,但在某些情况下这可能并不理想。
让我们考虑以下代码:
def onlyascii(char):
if ord(char) 127: return ''
else: return char
此代码删除所有 ASCII 值小于 48 或大于 127 的字符,有效地去除文本中的非 ASCII 字符。但是,它也会删除空格 (ASCII 32) 和句点 (ASCII 46)。
要选择性地删除非 ASCII 字符,同时保留空格和句点,我们可以利用 Python 的 string.printable 模块:
import string
printable = set(string.printable)
filtered_data = filter(lambda x: x in printable, data)
string.printable 集包含系统上的所有可打印字符,包括数字、字母、符号、空格和句点。使用这个集合作为过滤器,我们可以从字符串中删除所有不可打印的字符。
例如,如果我们有字符串“some\x00string.with\x15有趣的字符”:
s = "some\x00string. with\x15 funny characters"
''.join(filter(lambda x: x in printable, s))
结果将是:
'somestring. with funny characters'
此方法有效地删除非 ASCII 字符,同时保留空格和句点,为进一步处理提供干净的字符串。
免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。
Copyright© 2022 湘ICP备2022001581号-3