Übungen: Maschinelles Lernen - Regression

Richtig ist b).

Beide sind Aufgaben des überwachten Lernens (supervised learning). Der Unterschied liegt allein in der Art des Ausgabewerts:

• Klassifikation: diskrete Kategorie (z.B. Spam-Filter, Fraud-Detection).
• Regression: kontinuierlicher / numerischer Wert (z.B. Aktienkurs-Vorhersage).

Merksatz aus den Folien: "Klassifikation sagt eine Kategorie voraus, Regression sagt eine Zahl voraus."

• a) ist falsch - beide brauchen Trainingsdaten mit bekannten Ausgabewerten.
• c) ist falsch - beide sind überwachtes Lernen.
• d) verwechselt die beiden.

Falle: "Aktienkurs-Vorhersage" klingt nach Finanz-Klassifikation, ist aber Regression, weil ein numerischer Wert (Kurs) vorhergesagt wird. Frage dich immer: kommt eine Zahl oder eine Kategorie heraus?

Siehe EKI03.

In der Konfusionsmatrix stehen die Vorhersagen in den Zeilen und der tatsächliche Zustand in den Spalten.

Tipp: Eselsbrücke - False Positive ist ein "Fehlalarm" (Type I), False Negative ist ein "Übersehen" (Type II). Die Ziffer folgt der Buchstabenreihenfolge: FP = I, FN = II.

Siehe EKI03.

Richtig ist b).

Laut Kapitel gilt als Default scoring='accuracy' und k = 5. cross_val_score führt damit eine 5-fache Kreuzvalidierung durch und scores.mean() gibt den Mittelwert der Scores aus.

Für Regression muss man das Scoring aktiv umstellen, z.B. auf scoring='neg_root_mean_squared_error' (Antwort c nennt zwar dieses Scoring, aber nicht als Default und mit falschem k).

Falle: Accuracy ist ein Klassifikationsmass. Vergisst man bei einem Regressionsproblem, scoring umzustellen, versucht scikit-learn ein unpassendes Mass anzuwenden. Für Regression scoring='neg_root_mean_squared_error' setzen.

Siehe EKI03.

Accuracy (Treffergenauigkeit):

Precision:

Recall:

F-Score (harmonisches Mittel von Precision und Recall):

Ergebnis: Accuracy = 0.70, Precision = 0.80, Recall = 0.667, F-Score = 0.727.

Tipp: Precision und Recall teilen sich denselben Zähler TP. Precision fragt "Wie viele meiner Positiv-Vorhersagen stimmen?" (Nenner mit FP), Recall fragt "Wie viele echte Positive habe ich erwischt?" (Nenner mit FN).

Siehe EKI03.

Schritt 1 - Abweichungen $\hat{f}_i - y_i$:

Schritt 2 - MAE (Durchschnitt der Beträge):

Schritt 3 - MSE (Durchschnitt der Quadrate):

Schritt 4 - RMSE (Wurzel des MSE):

Tipp: MSE bestraft grosse Fehler stärker (der Fehler 4 liefert 16 von 29 der Fehlersumme). RMSE zieht die Wurzel und hat dadurch dieselbe Einheit wie die Zielgrösse - deshalb ist RMSE leichter zu interpretieren als MSE.

Falle: RMSE ist NICHT der Mittelwert der Beträge. Erst quadrieren und mitteln (MSE), dann die Wurzel ziehen. $RMSE \ge MAE$ gilt fast immer.

Siehe EKI03.

Die Accuracy beträgt

und sieht auf den ersten Blick gut aus. Der Datensatz ist aber unausgewogen (imbalanced): Es gibt nur 9 echte Kranke (TP+FN = 1+8), aber 91 Gesunde. Der hohe TN-Anteil (90) treibt die Accuracy nach oben, obwohl 8 von 9 Kranken übersehen werden (Recall = 1/9 ≈ 0.111).

Der F-Score spiegelt diese schlechte Qualität wider:

Kernaussage: Bei unausgewogenen Datensätzen ist die Treffergenauigkeit irreführend. Man verwendet stattdessen den F-Score (harmonisches Mittel aus Precision und Recall), weil er nur dann hoch wird, wenn beide gut sind.

Tipp: Faustregel - je seltener die positive Klasse, desto weniger aussagekräftig die Accuracy. Ein Modell, das immer "gesund" sagt, erreicht bei 91% Gesunden schon 91% Accuracy, ohne einen einzigen Kranken zu erkennen.

Siehe EKI03.

Korrekte Reihenfolge: C - F - E - A - D - G - B

1. C read_csv - Daten laden (Trainings-CSV in ein pd.DataFrame).
2. F Preprocessing - Ziel y = revenue und Features X = budget extrahieren.
3. E model = SVR() - Regressionsmodell (Support Vector Regression) erzeugen.
4. A model.fit(X, y) - Training ("fitting") mit Merkmalen und Zielen.
5. D cross_val_score(..., scoring='neg_root_mean_squared_error') - Validierung mit RMSE.
6. G model.predict(X_test) - Vorhersage für den Testdatensatz.
7. B to_csv(..., index=False) - Einreichungsdatei schreiben.

graph LR
    C["read_csv: Daten laden"] --> F["Preprocessing: X, y"]
    F --> E["model = SVR()"]
    E --> A["fit: Training"]
    A --> D["cross_val_score: RMSE"]
    D --> G["predict: Vorhersage"]
    G --> B["to_csv: submission"]

Falle: Validieren (D) kommt VOR dem finalen predict (G). Erst wenn das Modell "gut genug" ist, wird es produktiv auf den Testdatensatz angewendet.

Siehe EKI03.

a) Berechnungen:

b) Beurteilung: Die Accuracy von 0.98 klingt exzellent, ist aber irreführend, weil der Datensatz stark unausgewogen ist (nur 20 von 1000 sind krank). Der Recall von nur 0.25 bedeutet, dass 15 von 20 Kranken übersehen werden (FN = 15). Für einen Krankheitstest ist das gefährlich. Der F-Score von 0.333 zeigt die tatsächlich schlechte Qualität deutlich besser als die Accuracy. Das Modell ist nicht einsatzfähig.

Tipp: Bei medizinischem Screening ist ein hoher Recall meist wichtiger als hohe Precision - ein übersehener Kranker (FN, Type II Error) wiegt schwerer als ein Fehlalarm (FP, Type I Error). Genau solche Abwägungen macht die reine Accuracy unsichtbar.

Siehe EKI03.

a) Vier Schritte (k fold cross validation):

1. Spalte den Datensatz in $k$ Teildatensätze (Folds) auf, z.B. $k = 5$.
2. Trainiere mit $k-1$ Folds und benutze 1 Fold zur Validierung.
3. Iteriere $k$-mal, jedes Mal mit einem anderen Fold als Validierungsmenge.
4. Berechne das durchschnittliche Ergebnis über alle Iterationen.

graph TD
    D["Datensatz"] --> S["Aufteilen in k = 5 Folds"]
    S --> I1["Iter 1: Fold 1 Test -> Perf(1)"]
    S --> I2["Iter 2: Fold 2 Test -> Perf(2)"]
    S --> I3["Iter 3: Fold 3 Test -> Perf(3)"]
    S --> I4["Iter 4: Fold 4 Test -> Perf(4)"]
    S --> I5["Iter 5: Fold 5 Test -> Perf(5)"]
    I1 --> A["Mittelwert"]
    I2 --> A
    I3 --> A
    I4 --> A
    I5 --> A

b) Gesamtergebnis (Mittelwert über alle $k$ Iterationen):

Der durchschnittliche RMSE beträgt 3.2.

Tipp: Kreuzvalidierung ist robuster als ein einzelner Train/Test-Split, weil jeder Datenpunkt einmal zum Testen und $k-1$-mal zum Trainieren verwendet wird. Das Ergebnis hängt weniger vom Zufall der Aufteilung ab.

Siehe EKI03.

a) Im Training werden die Trainingsdaten (Training data) verwendet, in der Validation die Testdaten (Test data). Beide gehören zur Trainingsphase.

b) Bei "not good enough" springt der Prozess zurück zur Configuration. Das Modell wird neu konfiguriert (z.B. anderer Algorithmus oder andere Features) und erneut trainiert und validiert. Diese Iteration ist wichtig, weil ein Modell selten beim ersten Versuch gut genug ist - man verbessert es schrittweise, bis die Gütemasse ausreichen.

c) Erst in der Produktionsphase bei "Prediction" wird das fertige, validierte Modell auf Live-Daten (Live data) angewendet, um ein prediction result zu erzeugen.

Falle: Live-Daten dürfen NICHT zur Validierung benutzt werden - dafür sind die Testdaten da. Erst nach bestandener Validierung geht das Modell in Produktion.

Siehe EKI03.

a) Konfusionsmatrix herleiten:

• Als Spam markiert: 60, davon korrekt: TP = 45, also FP = 60 - 45 = 15.
• Echter Spam gesamt: 50, davon erkannt (TP): 45, also übersehen: FN = 50 - 45 = 5.
• Gesamt 200, Rest ist korrekt als kein Spam: TN = 200 - 45 - 15 - 5 = 135.

b) Gütemasse:

c) Interpretation der Precision (0.75): Von allen als Spam markierten E-Mails sind nur 75% wirklich Spam. Anders gesagt: Jede vierte in den Spam-Ordner verschobene Mail ist eigentlich erwünscht (ein FP). Für einen Nutzer heisst das, dass gelegentlich echte Mails im Spam-Ordner landen.

Tipp: Beim Spam-Filter ist ein hoher Precision-Wert oft wichtiger als hoher Recall: eine verlorene echte Mail (FP) ärgert mehr als eine durchgerutschte Spam-Mail (FN). Bei Krankheitstests ist es umgekehrt. Der passende Score hängt immer von der Anwendung ab.

Falle: TN nicht vergessen - es ergibt sich als Rest aus der Gesamtzahl. Wer TN übersieht, kann Accuracy nicht berechnen.

Siehe EKI03.

a) Es handelt sich um eine Scheinkorrelation (spurious correlation) bzw. um Overfitting. Das Beispiel stammt aus "Stupid Data Miner Tricks" ("Overfitting the S & P 500").

b) Zwischen Butterproduktion und Aktienindex besteht kein kausaler oder sachlicher Zusammenhang. Die hohe Kennzahl entsteht nur, weil genügend unsinnige Variablen zusammengesucht wurden, bis die Kurve zufällig passt. Das Modell hat keinerlei Vorhersagekraft für neue Daten - es beschreibt nur den Zufall der Vergangenheit.

c) Eine gute Kennzahl allein reicht nicht. Eine Regression muss inhaltlich Sinn ergeben. Man muss prüfen, ob die verwendeten Merkmale plausibel mit der Zielgrösse zusammenhängen, und nicht nur auf $R^2$, RMSE o.ä. schauen. Sonst besteht die Gefahr von Overfitting bzw. Scheinkorrelation.

Falle: $R^2$ wird in diesem Kapitel NUR in dieser Karikatur als Zahl genannt; eine Formel dafür wird nicht gegeben. Merke dir die Aussage ("Regressionen müssen einen Sinn ergeben"), nicht eine Definition von $R^2$.

Siehe EKI03.

a) Laut scikit-learn-Cheat-Sheet des Kapitels eignen sich u.a.: SVR (Support Vector Regression, kernel='linear' oder kernel='rbf'), SGD Regressor (bei > 100K Samples), RidgeRegression, Lasso, ElasticNet und Ensemble Regressors. (Regularisierungsverfahren wie Lasso/Ridge/ElasticNet werden nur als Namen genannt, die Mathematik nicht erklärt.)

b) Training und Vorhersage:

from sklearn.svm import SVR
model = SVR()             # Modell erzeugen
model.fit(X, y)          # Training mit Merkmalen X und Zielen y
predictions = model.predict(X_test)   # Vorhersage für neue Daten

Das Training erfolgt mit model.fit(X, y), die Vorhersage mit model.predict(X_test).

c) Für Regression verwendet man scoring='neg_root_mean_squared_error' (RMSE). Er ist negativ, weil scikit-learn Scores grundsätzlich maximiert (je höher, desto besser). Ein RMSE ist aber umso besser, je näher er an 0 liegt. Durch das Vorzeichen wird "näher an 0" zum "grösseren" (weniger negativen) Wert - so passt es zur Maximierungslogik.

Tipp: Ein negativer RMSE von -3.2 ist besser als -5.0, weil -3.2 näher an 0 liegt. Beim Auswerten interessiert oft der Betrag.

Siehe EKI03.