Как обрабатывать суррогатные пары в Юникоде Python

В Python суррогатные пары используются для представления символов Юникода за пределами базовой многоязычной плоскости (BMP) ). Эти пары состоят из двух суррогатных кодовых точек, которые используются для кодирования одного символа Юникода.

При работе со строками Юникода Python, содержащими суррогатные пары, вы можете столкнуться с ошибками, связанными с суррогатным кодированием. Эти ошибки возникают потому, что Python обрабатывает суррогатные пары по-разному в зависимости от контекста.

Обработка суррогатных пар

Чтобы преобразовать суррогатную пару в обычную строку, у вас есть несколько вариантов:

• Используйте json Модуль:

  • Загрузите строку в объект JSON с помощью json.loads(). Модуль JSON автоматически обрабатывает преобразование суррогатных пар в символы Юникода.

• Кодируйте и декодируйте с помощью метода encode():

  • Закодируйте строку, используя кодек, поддерживающий суррогатные пары, например «utf-16» или "utf-16-le".
  • Декодируйте закодированную строку, используя тот же кодек.

  • Пример:

    emoji = "This is \ud83d\ude4f, an emoji."
    encoded = emoji.encode("utf-16")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "This is ?, an emoji."

• Используйте обработчик ошибок surrogatepass:

  • Если вы столкнулись с ошибкой при кодировании или декодировании, вы можете использовать обработчик ошибок surrogatepass, чтобы игнорировать суррогат пара.

  • Пример:

    encoded = emoji.encode("utf-16", "surrogatepass")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "?"

Обратите внимание, что выбранный вами подход будет зависеть от конкретного контекста и желаемого формата вывода.