Aufteilen von Zeichenfolgen in Wörter mit mehreren Trennzeichen für Wortgrenzen

Beim Umgang mit Textdaten besteht eine häufige Aufgabe darin, Zeichenfolgen in einzelne Wörter aufzuteilen. Die Methode str.split() von Python bietet eine einfache Lösung, unterstützt jedoch nur ein einzelnes Trennzeichen als Argument. Diese Einschränkung kann zu einem Hindernis werden, wenn es um Text geht, der mehrere Arten von Wortgrenzen enthält, wie z. B. Satzzeichen.

Das Python-Re-Modul bietet eine leistungsstarke Alternative: re.split(). Mit dieser Funktion können Sie ein Muster angeben, das als Wortgrenzentrennzeichen verwendet werden soll. Das Muster kann reguläre Ausdrücke enthalten, um mehrere Arten von Grenzen gleichzeitig abzugleichen.

Um beispielsweise die folgende Zeichenfolge in Wörter aufzuteilen und dabei sowohl Leerzeichen als auch Satzzeichen als Wortgrenzen zu behandeln:

"Hey, you - what are you doing here!?"

Sie können das folgende reguläre Ausdrucksmuster verwenden:

'\W '

Dieses Muster Entspricht einer beliebigen Folge von Nicht-Wort-Zeichen (alphabetisch, numerisch oder Unterstrich). Bei Verwendung mit re.split() wird die Zeichenfolge bei allen Vorkommen dieser Zeichen aufgeteilt, wodurch effektiv eine Liste von Wörtern erstellt wird.

So können Sie es in Python verwenden:

import re

text = "Hey, you - what are you doing here!?"
words = re.split('\W ', text)

print(words)

Ausgabe:

['Hey', 'you', 'what', 'are', 'you', 'doing', 'here']

Wie Sie sehen können, teilt re.split() die Zeichenfolge effektiv in einzelne Wörter auf und behält die korrekten Wortgrenzen bei, obwohl mehrere Trennzeichen vorhanden sind. Diese Flexibilität macht es zu einem wertvollen Werkzeug für die Handhabung komplexer Textanalyseszenarien, bei denen mehrere Wortgrenzentrennzeichen auftreten.