Übungen: Natural Language Processing

Richtig ist b).

Das Bag-of-Words-Modell repraesentiert einen Text als Multi-Set (bag) von Worten mit ihren Haeufigkeiten, ohne die Grammatik oder die Reihenfolge der Worte zu beruecksichtigen. Genau das ist die Grundidee laut Folie.

• a) ist falsch: Reihenfolge und Grammatik gehen im BoW gerade verloren.
• c) beschreibt Information Extraction (Text -> Wissensgraph).
• d) mischt Maschinelle Uebersetzung und Texterzeugung/Summarization.

Beispiel aus dem Kapitel: "John likes to watch movies. Mary likes movies too." wird zu BoW = {"John":1, "likes":2, "to":1, "watch":1, "movies":2, "Mary":1, "too":1}.

Kapitel: EKI07

Tipp: Merksatz "bag" = Tuete: man wirft alle Worte hinein und schuettelt - die Reihenfolge ist danach egal, nur die Anzahl zaehlt.

Die sechs Bereiche mit ihrem Eingabe -> Ausgabe-Verhalten:

Reasoning: Jeder Bereich laesst sich ueber sein Eingabe-/Ausgabe-Verhalten charakterisieren. Beachte, dass Texterzeugung die Umkehrung von Information Extraction ist (Graph -> Text statt Text -> Graph).

Kapitel: EKI07

Falle: Das Zusammenfassen von Texten (Summarization) ist kein eigener Bereich, sondern wird laut Folie unter Texterzeugung gefuehrt.

Wir zaehlen jedes Wort (Reihenfolge und Satzzeichen werden ignoriert):

BoW = {"Anna":2, "liest":2, "Buecher":1, "gern":1}

Reasoning: "Anna" taucht zweimal auf, "liest" zweimal, "Buecher" und "gern" je einmal. Als Feature-Vektor ueber dem Vokabular [Anna, liest, Buecher, gern] ergibt sich:

Kapitel: EKI07

Tipp: In der einfachsten Form ist jeder Vektoreintrag genau die Worthaeufigkeit (term frequency) des Wortes im Text - so entstehen die Feature-Vektoren fuer ML.

Schritt 1 - term frequency (tf) in d1 (d1 = {der:2, film:2, ist:1, gut:1}):

Schritt 2 - document frequency (df) im Korpus (in wie vielen der 4 Dokumente kommt der Term vor):

Schritt 3 - idf = log10(N/df) mit $N=4$:

Schritt 4 - tfidf = tf * idf:

Interpretation: "der" bekommt trotz hoechster Haeufigkeit das Gewicht 0, weil es in allen Dokumenten steht (df = N, idf = 0). Das seltene, aussagekraeftige Wort "gut" (nur in d1) erhaelt das hoechste Gewicht. Genau das ist das Ziel von tf-idf: haeufige Fuellwoerter abwerten, unterscheidungsstarke Woerter aufwerten.

Kapitel: EKI07

Falle: Ein Wort mit df = N hat immer idf = $\log(N/N)=\log 1 = 0$ - egal wie oft es im Einzeltext vorkommt, sein tf-idf ist 0.

Tipp: Das Kapitel weist darauf hin, dass es mehrere Formeln fuer tf-idf gibt; scikit-learns TfidfTransformer nutzt eine geglaettete Variante. Fuer die Pruefung genuegt "tf mal idf" mit $\text{idf}=\log(N/df)$.

Die Bigramme sind alle Paare aufeinanderfolgender Worte:

"John likes", "likes to", "to watch", "watch movies"

Das sind vier Bigramme (bei fuenf Worten gibt es $5-2+1 = 4$ Bigramme).

Vorteil: n-Gramme erfassen ein Stueck Wortreihenfolge / Kontext, das beim reinen BoW (nur 1-Gramme) verloren geht. Sie koennen ebenfalls zur Erzeugung von Feature-Vektoren dienen und mit tf-idf kombiniert werden.

Kapitel: EKI07

Tipp: Ein n-Gramm-Modell ergaenzt die 1-Gramm-Spalten der Feature-Matrix um zusaetzliche Spalten fuer Wortpaare (z. B. "John likes", "likes to").

Richtig ist c).

Die Pipeline verkettet Vectorizer -> Transformer -> Classifier:

text_clf = Pipeline([
    ('vect',  CountVectorizer()),    # Bag of Words (Wortzaehlungen)
    ('tfidf', TfidfTransformer()),   # tf-idf-Gewichtung
    ('clf',   MultinomialNB()),      # Naive-Bayes-Classifier
])

Ablauf: Der CountVectorizer erzeugt aus dem Rohtext BoW-Zaehlungen, der TfidfTransformer gewichtet sie zu tf-idf, und MultinomialNB sagt das Genre-Label vorher.

graph LR
    A["Rohtext (overview)"] --> B["CountVectorizer (Bag of Words)"]
    B --> C["TfidfTransformer (tf-idf)"]
    C --> D["MultinomialNB (Classifier)"]
    D --> E["Genre-Label (Drama / nicht Drama)"]

Kapitel: EKI07

Tipp: Die Stufennamen (vect, tfidf, clf) sind frei waehlbar und lassen sich spaeter fuer Grid-Search der Hyperparameter nutzen. Das gesamte Modell wird mit einem fit-Befehl trainiert.

Reasoning: Diese vier gehoeren zur Funktionsliste von spaCy. Weitere Funktionen des Kapitels sind u. a. Tokenization, Dependency Parsing, Sentence Boundary Detection (SBD), Entity Linking (EL), Text Classification, Rule-based Matching, Training und Serialization.

Kapitel: EKI07

Tipp: Die Similarity basiert auf Wortvektoren (word embeddings, z. B. mit word2vec erzeugt). Dafuer braucht man ein grosses Modell wie en_core_web_lg - das kleine en_core_web_sm liefert keine aussagekraeftigen Vektoren.

Fehler: Fuer neue Dokumente darf man nur transform aufrufen, nicht fit_transform.

Korrekt:

docs_new = ['God is love', 'OpenGL on the GPU is fast']
X_new_counts = count_vect.transform(docs_new)
X_new_tfidf  = tfidf_transformer.transform(X_new_counts)
predicted    = clf.predict(X_new_tfidf)

Begruendung: fit (bzw. fit_transform) lernt das Vokabular und die idf-Gewichte aus den uebergebenen Daten. Ruft man es auf den neuen Dokumenten erneut auf, wird ein neues Vokabular aus nur zwei Saetzen gebaut und die idf-Werte neu geschaetzt. Damit passen die Feature-Spalten nicht mehr zu dem, worauf clf trainiert wurde - die Vorhersage waere unbrauchbar. Neue Daten muessen mit dem beim Training gelernten Vectorizer/Transformer nur noch transformiert werden.

Im Kapitel wird die Vorhersage genau so gezeigt: count_vect.transform(docs_new) und tfidf_transformer.transform(X_new_counts).

Kapitel: EKI07

Falle: fit_transform = lernen + anwenden (nur auf Trainingsdaten). transform = nur anwenden (auf neue Daten). Ein zweites fit auf Testdaten ist ein klassischer Fehler.

(a) Warum reine Zaehlungen kurze Dokumente benachteiligen: Ein langes Dokument enthaelt allein durch seine Laenge groessere Rohzaehlungen als ein kurzes. Vergleicht man reine Counts, erscheinen lange Texte kuenstlich "staerker" fuer jedes Wort, obwohl der Anteil eines Wortes im kurzen Text vielleicht hoeher ist.

(b) Die zwei Schritte des TfidfTransformer:

1. Teilen durch die Gesamtzahl der Woerter des Dokuments -> ergibt die term frequency (tf). Dadurch werden lange und kurze Dokumente vergleichbar (Normalisierung der Laenge).
2. Herunterskalieren von Woertern, die in vielen Dokumenten vorkommen -> ergibt tf-idf ueber die inverse Dokumenthaeufigkeit.

Beispiel "the": Fuellwoerter wie "the", "a", "to" kommen in fast allen Dokumenten vor (hohe df). Sie sind nicht die wichtigsten Woerter und werden ueber die inverse Dokumenthaeufigkeit abgewertet - im Extremfall $df = N \Rightarrow \text{idf} = \log(N/N) = 0$.

Kapitel: EKI07

Tipp: Merke die zwei Motivationen getrennt: tf loest das Laengenproblem, idf loest das Fuellwort-Problem.

(a) "is" ist ein AUX (Auxiliar/Hilfsverb). "This" ist ueber das Label nsubj das Subjekt ("nominal subject") von "is" und ein PRON (Pronomen).

(b) Der Artikel "a" (DET, Determiner) haengt ueber das Label det am Nomen "sentence". Zusaetzlich ist "sentence" (NOUN) ueber attr mit "is" verbunden.

(c)

• Die Wortart-Labels (PRON, AUX, NOUN, DET) stammen vom Part-of-speech (POS) Tagging.
• Die Abhaengigkeits-Labels (nsubj, attr, det) stammen vom Dependency Parsing (Zuweisen syntaktischer Abhaengigkeits-Labels wie Subjekt/Objekt).

Kapitel: EKI07

Tipp: Visualisieren laesst sich das mit displacy.render(doc, style="dep").

(a) Grundprinzip: Die neue Frage wird mit allen FAQ-Fragen verglichen. Ist eine bekannte Frage hinreichend aehnlich (genug Konfidenz), gibt das System deren gespeicherte Antwort zurueck. Der Aehnlichkeitsvergleich kann z. B. ueber spaCy-similarity (Wortvektoren) oder tf-idf-basierte Cosinus-Aehnlichkeit erfolgen.

(b) Erwartete Antwort: "Nobel price in Economics and Abel Prize". Die neue Frage "Which prices was John Nash awarded?" ist eine Umformulierung von "Which prices did John Nash win?" - gleicher Inhalt, andere Formulierung. Bei hoher Aehnlichkeit wird dieselbe Antwort zurueckgegeben.

(c) Kein aehnlicher Treffer: predict_answer gibt bei zu geringer Konfidenz None zurueck (keine Antwort).

graph LR
    Q["Neue Frage"] --> SIM{"Aehnlich zu einer FAQ-Frage?"}
    SIM -->|"ja (genug Konfidenz)"| A["Antwort der FAQ-Frage zurueckgeben"]
    SIM -->|nein| N["None (keine Antwort)"]

Kapitel: EKI07

Tipp: Die Testdaten enthalten viele Umformulierungen derselben Fragen - damit wird gezielt die Robustheit des Aehnlichkeitsvergleichs geprueft.

(a) Bag-of-Words-Feature-Matrix:

(b) tf-idf fuer d1:

Zuerst df (Zahl der Dokumente, die das Wort enthalten):

idf mit $N=3$:

tf-idf in d1 (tf * idf):

(c) Interpretation:

• Am aussagekraeftigsten ist "kamas" (tf-idf = 0,352): Es kommt in d1 zweimal vor (hohes tf) und nur in einem Teil des Korpus (df = 2 < N), also idf > 0.
• Voellig uninformativ fuer d1 ist "boss" (tf-idf = 0): Es steht in allen Dokumenten (df = N = 3), daher $\text{idf}=\log 1 = 0$ - trotz Vorkommen in d1 traegt es nichts zur Unterscheidung bei. ("server" ist in d1 mit tf = 0 schlicht nicht vorhanden.)

Kapitel: EKI07

Falle: tf-idf = 0 kann zwei Ursachen haben: entweder tf = 0 (Wort fehlt im Dokument, hier "server") oder idf = 0 (Wort steht in allen Dokumenten, hier "boss"). Beide unbedingt unterscheiden koennen.

Tipp: Die Feature-Vektoren sind typischerweise hochdimensional und duenn besetzt (sparse) - hier sieht man schon bei drei Worten Nullen entstehen.

(a) Grundprinzip: Das Bag-of-Words-Modell repraesentiert einen Text als Multi-Set von Worten mit ihren Haeufigkeiten, ohne Grammatik und Wortreihenfolge. Daraus entstehen Feature-Vektoren fuer Machine Learning, in denen jede Vokabularspalte die Haeufigkeit eines Wortes zaehlt. Trotz seiner Einfachheit liefert BoW in manchen Anwendungen (z. B. Textklassifikation) erstaunlich gute Ergebnisse.

(b) Nachteile:

1. Grammatik und Wortreihenfolge gehen verloren - Kontext wird nicht erfasst.
2. Haeufige Fuellwoerter dominieren (z. B. "the", "a", "to"), obwohl sie wenig aussagen; zudem werden die Vektoren hochdimensional und duenn besetzt (sparse).

(c) tf-idf mildert das Fuellwort-Problem: Worthaeufigkeiten werden mit der inversen Dokumenthaeufigkeit normalisiert. Woerter, die in fast allen Dokumenten vorkommen (hohe df), werden abgewertet ($\text{idf}=\log(N/df)$, bei df = N sogar auf 0), seltene, unterscheidungsstarke Woerter werden aufgewertet.

(d) Das n-Gramm-Modell mildert den Reihenfolge-/Kontextverlust: Statt nur einzelner Worte (1-Gramme) betrachtet man Sequenzen aus N aufeinanderfolgenden Worten (z. B. Bigramme "John likes", "likes to"). So wird ein Stueck Wortreihenfolge erfasst. n-Gramme lassen sich ebenfalls zu Feature-Vektoren machen und mit tf-idf kombinieren.

Kapitel: EKI07

Tipp: Struktur fuer die Klausur: erst Prinzip, dann pro Nachteil die passende Erweiterung nennen (Fuellwoerter -> tf-idf, Reihenfolge -> n-Gramme). Beide Erweiterungen sind kombinierbar.