如何在 Python 中高效地将一个字符串附加到另一个字符串

在 Python 中，使用 ' ' 运算符连接字符串是一项常见任务。虽然下面的代码很简单：

var1 = "foo"
var2 = "bar"
var3 = var1   var2

它提出了关于效率的问题，特别是对于大字符串或重复连接。

就地字符串扩展

幸运的是，CPython实施了优化以提高字符串连接的效率。当仅存在对字符串的单个引用并且将另一个字符串附加到该字符串时，CPython 会尝试就地扩展原始字符串。这种优化使得操作分摊为 O(n)。

例如，以下代码曾经是 O(n^2):

s = ""
for i in range(n):
    s  = str(i)

然而，通过优化，它现在运行时间为 O(n)。

Python 实现细节

这里有一个摘录自说明优化的 Python C 源代码：

int
_PyBytes_Resize(PyObject **pv, Py_ssize_t newsize)
{
    /* ... */
    *pv = (PyObject *)
        PyObject_REALLOC((char *)v, PyBytesObject_SIZE   newsize);
    if (*pv == NULL) {
        PyObject_Del(v);
        PyErr_NoMemory();
        return -1;
    }
    _Py_NewReference(*pv);
    sv = (PyBytesObject *) *pv;
    Py_SIZE(sv) = newsize;
    sv->ob_sval[newsize] = '\0';
    sv->ob_shash = -1;          /* invalidate cached hash value */
    return 0;
}

此函数允许调整字符串对象的大小，但前提是只有一个对该字符串对象的引用。字符串的大小发生变化，同时保留原始内存位置。

警告

需要注意的是，这种优化不是 Python 规范的一部分。它仅在 CPython 解释器中实现。其他 Python 实现，例如 PyPy 或 Jython，可能会表现出不同的性能特征。

实证测试

根据经验，优化在以下代码的性能中很明显：

import timeit

s = ""
for i in range(10):
    s  = 'a'

# Time the concatenation of 10 'a' characters
t1 = timeit.timeit(stmt="""s = ""
for i in range(10):
    s  = 'a'""", globals=globals(), number=1000000)

# Time the concatenation of 100 'a' characters
t2 = timeit.timeit(stmt="""s = ""
for i in range(100):
    s  = 'a'""", globals=globals(), number=100000)

# Time the concatenation of 1000 'a' characters
t3 = timeit.timeit(stmt="""s = ""
for i in range(1000):
    s  = 'a'""", globals=globals(), number=10000)

print("10 'a':", t1)
print("100 'a':", t2)
print("1000 'a':", t3)

结果显示，随着连接数量的增加，执行时间显着增加，表明该优化不适用于较大的字符串。

结论

虽然Python的就地字符串扩展优化在某些场景下极大地提高了字符串拼接的效率，但它了解此实现的局限性至关重要。对于大型字符串或当内存管理考虑因素至关重要时，可能需要字符串操作的替代方法才能实现最佳性能。