Comment gérer les paires de substitution dans Python Unicodes

En Python, les paires de substitution sont utilisées pour représenter les caractères Unicode au-delà du plan multilingue de base (BMP ). Ces paires sont constituées de deux points de code de substitution utilisés pour coder un seul caractère Unicode.

Lorsque vous travaillez avec des chaînes Unicode Python contenant des paires de substitution, vous pouvez rencontrer des erreurs liées au codage de substitution. Ces erreurs se produisent car Python gère les paires de substitution différemment selon le contexte.

Gestion des paires de substitution

Pour convertir une paire de substitution en chaîne normale, vous disposez de plusieurs options :

• Utilisez le module json :

  • Chargez la chaîne dans un objet JSON utilisant json.loads(). Le module JSON gérera automatiquement la conversion des paires de substitution en caractères Unicode.

• Encoder et décoder avec la méthode encode() :

  • Encodez la chaîne à l'aide d'un codec prenant en charge les paires de substitution, telles que "utf-16" ou "utf-16-le".
  • Décoder la chaîne encodée en utilisant le même codec.

  • Exemple :

    emoji = "This is \ud83d\ude4f, an emoji."
    encoded = emoji.encode("utf-16")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "This is ?, an emoji."

• Utilisez le gestionnaire d'erreurs surrogatepass :

  • Si vous rencontrez une erreur lors de l'encodage ou du décodage, vous pouvez utiliser le gestionnaire d'erreurs surrogatepass pour ignorer le substitut paire.

  • Exemple :

    encoded = emoji.encode("utf-16", "surrogatepass")
    decoded = encoded.decode("utf-16")
    print(decoded)  # Output: "?"

Notez que l'approche que vous choisirez dépendra du contexte spécifique et du format de sortie souhaité.