Übungen: Gemischte Wiederholung

Kernunterschied: Supervised Learning braucht Labels ("richtige Antwort"), Unsupervised Learning findet Struktur ohne Labels. Klassifikation sagt eine Kategorie, Regression einen numerischen Wert voraus.

Tipp: Die Frage "Gibt es ein Label, auf das ich trainiere?" trennt Supervised von Unsupervised sicher.

Siehe EKI02, EKI03 und EKI09.

Die Landkarte hat zwei Achsen: Acquiring intelligence (unten, z. B. Learning, Knowing) und Applying intelligence (oben, z. B. Perceiving, Communicating, Reasoning, Acting).

Falle: CEP wirkt "datengetrieben", gehoert aber laut Landkarte zum Reasoning der symbolischen KI (neben Logic programming und Probabilistic reasoning).

Siehe EKI00, EKI04, EKI05, EKI06 und EKI07.

Richtig ist a).

• a) Korrekt: Der Dartmouth-Workshop 1956 (Teilnehmer u. a. McCarthy, Minsky, Shannon, Newell, Simon) praegte den Begriff "Artificial Intelligence".
• b) Falsch: Der KI-Winter entspricht dem "Trough of Disillusionment" (Tal der Ernuechterung), nicht dem Plateau of Productivity.
• c) Falsch: Der Turing-Test geht auf Alan Turing zurueck (Berechenbarkeit, Turing-Test), nicht auf Dartmouth.
• d) Falsch: Hype ist eine Hyperbel (Uebertreibung), keine Untertreibung. Historische Fehlprognosen: Minsky (1967/1970), Kurzweil (2005).

Die fuenf Phasen des Gartner Hype-Zyklus: Technology Trigger, Peak of Inflated Expectations, Trough of Disillusionment, Slope of Enlightenment, Plateau of Productivity.

Siehe EKI00 und EKI08.

Tipp: Die Leitfrage ist immer "Was ist die Ausgabe?": Kategorie -> Klassifikation, Zahl -> Regression, Gruppen ohne Label -> Clustering, strukturierte Fakten abfragen -> SPARQL, Pixel -> CNN, Rohtext -> NLP-Pipeline.

Siehe EKI02, EKI03, EKI04, EKI06, EKI07 und EKI09.

Accuracy:

Precision:

Recall:

F-Score (harmonisches Mittel):

Warum Accuracy irrefuehrend ist: Der Datensatz ist stark unausgewogen (nur 9 tatsaechlich Kranke von 100). Die Accuracy von 0,91 wirkt gut, doch 8 von 9 Kranken werden uebersehen (Recall nur 0,111). Der niedrige F-Score (0,18) spiegelt die schlechte Qualitaet realistischer wider. Bei unausgewogenen Datensaetzen verwendet man daher den F-Score statt der Accuracy.

Falle: FP = Type I Error (faelschlich krank), FN = Type II Error (faelschlich gesund). In der Konfusionsmatrix stehen Vorhersagen in den Zeilen, der tatsaechliche Zustand in den Spalten.

Siehe EKI03.

a) Entropie mit $H(M) = \sum_i -c_i \log_2(c_i)$ und den Anteilen $c_1 = 3/10$, $c_2 = 7/10$:

Die Entropie ist maximal (1) bei 50/50 und null bei reiner Klasse - hier liegt sie mit 0,881 dazwischen.

b) Entropieverlust (Information Gain):

Beim Aufbau eines Entscheidungsbaums waehlt man an jedem Knoten das Feature/Wert-Paar mit dem groessten Entropieverlust. Der Zweig $T_{upper}$ mit $H = 0$ ist rein und wird zum Blatt; $T_{lower}$ wird rekursiv weiter aufgeteilt.

Tipp: Ein reiner Teilbaum ($H = 0$) traegt mit seinem Term nichts zum Abzug bei - deshalb sind Splits, die eine Klasse "sauber" abspalten, besonders wertvoll.

Siehe EKI02.

a) Bag-of-Words (Multi-Set aus Woertern mit Haeufigkeiten, ohne Grammatik/Reihenfolge):

BoW = {"John":1, "likes":2, "to":1, "watch":1, "movies":2, "Mary":1, "too":1}

b) idf mit $\text{idf}(t, D) = \log \frac{N}{df}$:

Folgerung: "the" kommt in allen Dokumenten vor (hohe df) und erhaelt Gewicht 0 - egal wie oft es im Text steht, es traegt nichts zur Unterscheidung bei. "cryptography" ist selten und damit unterscheidungsstark, es wird aufgewertet. Das Gesamtgewicht ist $\text{tfidf} = \text{tf} \cdot \text{idf}$.

Tipp: tf-idf loest genau das Problem des reinen BoW, dass haeufige Fuellwoerter die Feature-Vektoren dominieren.

Siehe EKI07.

a) Parameter des Sliding ("Rolling") Window:

• n: Dauer (duration) - die Laenge/Breite des Fensters.
• m: Haeufigkeit (windowing frequency) - um welchen Schritt das Fenster weiterrueckt.

Das Fenster betrachtet immer nur den juengsten Ausschnitt des Ereignisstroms und wandert mit fortschreitender Zeit weiter.

b) Rollende Summe (window=2, jeweils aktuelle + vorherige Beobachtung; die erste Position hat keinen Vorgaenger -> NaN):

0    NaN
1    30.0   (10+20)
2    50.0   (20+30)
3    70.0   (30+40)

c) Kritikalitaet: $7\text{inc} = 250$. Es gilt $250 > 200$, aber nicht $> 400$, also crit = 3.

Dies ist ein Beispiel fuer iteratives CEP: Aus dem low-level Ereignis (7-Tage-Inzidenz) wird ein high-level Ereignis (Kritikalitaet) abgeleitet, das als Grundlage fuer Massnahmen dient.

Falle: Der 7-Tage-Kritikalitaets-Score verwendet laut Folie das Minimum ueber die letzten 7 Tage (nicht das Maximum) - eine glaettende, vorsichtige Bewertung, und ausdruecklich nur eine Beispieldefinition.

Siehe EKI05.

a) Zuordnung:

b) Regressionsmasse. Abweichungen $\hat{f}_i - y_i$: $-1, 0, -2$.

MSE bestraft grosse Fehler staerker (Quadrat); RMSE hat die gleiche Einheit wie die Zielgroesse.

c) Eine Konfusionsmatrix zaehlt korrekte/falsche Zuordnungen zu diskreten Klassen (TP/FP/FN/TN). Regression sagt einen kontinuierlichen numerischen Wert voraus - es gibt kein "richtig/falsch", sondern nur einen Abstand zwischen Vorhersage und Wahrheit. Deshalb misst man dort den Fehler ueber MAE/MSE/RMSE.

Tipp: In scikit-learn ist der Default von cross_val_score die Accuracy (k=5); fuer Regression setzt man scoring='neg_root_mean_squared_error'.

Siehe EKI02 und EKI03.

a) Faltung, obere linke Position. Filter auf den 3x3-Ausschnitt oben links legen, elementweise multiplizieren, aufsummieren:

Aus dem 5x5-Bild entsteht mit dem 3x3-Filter eine 3x3 feature map (Ausgabegroesse $O = N - F + 1 = 5 - 3 + 1 = 3$). Die Faltung verkleinert das Bild, ohne die Beziehung zwischen benachbarten Pixeln zu verlieren.

b) 2x2-Max-Pooling (Maximum je 2x2-Block):

max(5,1,2,3) = 5    max(3,6,2,2) = 6
max(2,2,5,1) = 5    max(4,2,3,1) = 4

Ergebnis (2x2):

5 6
5 4

Pooling reduziert Aufloesung/Komplexitaet. Am Ende wandeln Fully Connected Layers die Merkmale in eine Klassenzuordnung um (Ausgabeneuronen = Anzahl Klassen).

Tipp: Merke die CNN-Pipeline: Input (Pixel, low level) -> Convolution + Pooling (Features, medium level) -> Fully Connected -> Output (Klassen, high level).

Siehe EKI06.

Das Szenario zeigt die Arbeitsteilung: symbolische KI (Wissensgraph/SPARQL) fuer explizite, exakte Fakten; nicht-symbolische KI (ML/CNN/NLP) fuer das Lernen aus Beispieldaten. Beide Ansaetze koennen dieselbe Domaene (TMDB-Filme) abdecken.

Tipp: Fuer b) waere ein ML-Modell unnoetig - liegen die Fakten als Wissensgraph vor, ist eine praezise SPARQL-Query treffsicherer als eine gelernte Vorhersage.

Siehe EKI03, EKI04, EKI06 und EKI07.

a) CEP vs. Supervised ML:

• CEP: Ein fliessender Strom von Transaktionen laeuft an einer persistenten Regel vorbei, die z. B. auf "ungewoehnlich hohe Transaktionen in kurzer Zeit" prueft (Sliding Window) und eine Betrugswarnung ausgibt.
• Supervised ML: Ein Klassifikator wird auf gelabelten Transaktionen (Betrug / kein Betrug) trainiert und ordnet neue Faelle einer der zwei Klassen zu (binaere Klassifikation, wie Spam/Fraud-Detection).
• Unterschied: Beim DBMS sind die Daten persistent und die Query volatil (einmalig). Bei CEP ist es umgekehrt: die Regel ist persistent und laeuft dauerhaft mit, waehrend die Daten als Ereignisstrom vorbeifliessen.

b) Unsupervised Learning: Da neue Betrugsmuster oft kein Label haben, hilft Ausreissererkennung (anomaly / outlier detection) - z. B. ueber einen Autoencoder: schlecht rekonstruierbare Transaktionen sind verdaechtig. Auch Clustering kann ungewoehnliche Gruppen sichtbar machen.

c) Ethisches Risiko - Bias. ML-Modelle lernen aus historischen Daten und projizieren Vorurteile der Vergangenheit in die Zukunft. Verzerrte Trainingsdaten koennen bestimmte Personengruppen systematisch benachteiligen (vgl. ProPublica "Machine Bias" / COMPAS). Bias entsteht nicht durch boese Absicht, sondern durch verzerrte Daten und Modellannahmen.

Tipp: Der Umkehr-Gegensatz "persistente Daten + volatile Query (DBMS)" gegen "persistente Regel + fliessender Strom (CEP)" ist ein klassischer Pruefungspunkt.

Siehe EKI02, EKI05, EKI08 und EKI09.

a) Das ist Information Extraction (IE) aus dem NLP: Verstehen von Text und Aufbau eines Wissensgraphen (Text -> Wissensgraph).

b) RDF-Tripel (Turtle). Ein Tripel ist Subjekt - Praedikat - Objekt; a = rdf:type, ; verkettet Tripel fuer dasselbe Subjekt, . beendet:

:Movie_453 a :Movie ;
        :title "A Beautiful Mind" ;
        :genres :Genre_18 .
:Genre_18 a :Genre ;
        :name "Drama" .

c) SPARQL-Query. Die mehrfach genutzte Variable ?g wirkt als Join zwischen Film- und Genre-Tripeln:

PREFIX : <https://www.themoviedb.org/kaggle-export/>
SELECT ?t
WHERE {
  ?m a :Movie ;
     :title ?t ;
     :genres ?g .
  ?g :name "Drama" .
}

Das Ergebnis ist eine Tabelle mit einer Spalte (?t) und einer Zeile pro passendem Film. Mit DISTINCT liessen sich Duplikate vermeiden.

Tipp: Ein Join in SPARQL entsteht dadurch, dass dieselbe Variable (?g) an mehreren Stellen steht und dort jedesmal denselben Wert erzwingt.

Siehe EKI04 und EKI07.

a) Bias im ML. ML-Modelle lernen aus historischen Daten und projizieren Vorurteile der Vergangenheit in die Zukunft. Im ProPublica-Beispiel erhielt Brisha Borden (schwarz) einen hohen Risiko-Score (8), obwohl sie nicht rueckfaellig wurde, waehrend Vernon Prater (weiss) einen niedrigen Score (3) bekam. Der Algorithmus schrieb also trotz gegenteiliger tatsaechlicher Entwicklung eine hoehere Gefaehrlichkeit zu - Folge verzerrter Trainingsdaten und Modellannahmen, nicht boeser Absicht.

b) Accuracy reicht nicht. Eine hohe Gesamt-Accuracy kann eine ungleiche Fehlerverteilung zwischen Gruppen verdecken - genau wie im Tumorbeispiel eine Accuracy von 0,91 die 8 von 9 uebersehenen Kranken verbarg. Man muss die Fehlerarten getrennt betrachten (Konfusionsmatrix: FP/FN, Precision/Recall). Bei unausgewogenen Daten ist der F-Score aussagekraeftiger. Fuer Fairness zaehlt zusaetzlich, ob z. B. False-Positive-Raten zwischen Gruppen auseinanderlaufen.

c) Wer entscheidet?

• Hochfrequenzhandel (HFT): Algorithmen treffen Kauf/Verkauf-Entscheidungen in Sekundenbruchteilen ohne Mensch; der Flash Crash zeigt, wie automatisierte Fehlentscheidungen zu abrupten Marktverwerfungen fuehren.
• Autonome Waffen: waehlen Ziele ohne menschliches Eingreifen aus ("select and engage targets") - vom Future of Life Institute als "dritte Revolution der Kriegsfuehrung" bezeichnet.

Beide bilden das Spannungsfeld ab: Maschinen entscheiden schneller und moeglicherweise konsistenter, doch bei Fehlern oder delegierter Gewalt sind die Konsequenzen gravierend und die Verantwortung unklar.

Falle: "Bessere Entscheidungen" und "Fehlentscheidungen" sind zwei Seiten derselben Medaille - der Foliensatz gibt bewusst keine fertige Antwort, sondern einen Diskussionsimpuls.

Siehe EKI03 und EKI08.