Python 的字符串内存分配之谜

Python 字符串表现出一种奇怪的行为，即相同的字符串可以共享内存或单独存储。了解这种行为对于优化 Python 程序中的内存消耗至关重要。

字符串初始化和比较

最初，具有相同字符的两个字符串（例如 a == b）通常共享内存，如下所示由它们相同的 id 值证明。然而，这是不能保证的。

静态字符串的内存分配

当直接在Python程序中创建字符串时，它通常会被分配到唯一的内存位置，即使是相同的字符串存在于程序的其他地方。这确保了高效的字符串比较并避免潜在的内存泄漏。

动态生成的字符串的内存分配

动态生成的字符串，例如通过使用 等运算符组合现有字符串创建的字符串，最初存储在单独的内存位置。然而，Python 在程序执行期间维护唯一字符串的内部缓存（称为“Ucache”）。如果动态生成的字符串与现有的 Ucache 条目匹配，则会将其移动到 Ucache，与原始字符串共享相同的内存空间。执行此优化是为了提高效率并防止潜在的内存泄漏。

文件 I/O 之后的内存分配

当将字符串列表写入文件并随后读回内存时，每个字符串字符串被分配一个单独的内存位置。这是因为 Python 将从文件加载的数据视为新对象。原始的 Ucache 条目不再与加载的字符串关联，导致同一字符串的多个副本存储在内存中。

Ucache：Python 内存管理的一个黑暗角落

Python 维护了一个或更多 Ucache 以优化唯一字符串的内存使用。 Python 解释器如何填充和使用 Ucache 的机制没有明确记录，并且可能因 Python 实现而异。在某些情况下，动态生成的字符串可能会根据启发法或内部实现决策添加到 Ucache 中。理解这些错综复杂的问题需要进一步的研究和分析。

历史背景

唯一化字符串的概念并不新鲜。像 SPITBOL 这样的语言自 20 世纪 70 年代以来就实现了这种技术，以节省内存并优化字符串比较。

实现差异和权衡

Python 语言的不同实现以不同方式处理字符串内存分配。实现可能有利于灵活性、速度或内存优化，从而导致行为变化。了解这些特定于实现的细微差别对于优化特定平台和场景的代码至关重要。

优化字符串内存使用

要优化 Python 中的内存使用，请考虑以下策略：

• 避免冗余字符串创建： 使用变量引用现有字符串，而不是重复创建副本。
• 使用 intern 函数： intern 函数显式添加一个字符串到 Ucache，确保它与其他相同的字符串共享内存。
• 实现您自己的常量池： 对于大型且频繁使用的不可变对象，请考虑实现自定义常量池来管理对象唯一性.
• 注意文件 I/O 的内存开销： 请注意从文件中读取大型字符串列表的内存影响。