Performance des KNN-Modells ohne Geodaten
Der mittlere quadrierte Fehler (MSE): 7.346.175.366,58 Euro
Der einfache durchschnittliche Schätzfehler (MAE): 42.606.76 Euro
Der durchschnittliche prozentuale Schätzfehler (RME%): 9.99
R2-Score: 0.898
Durchschnittliche tatsächliche Kaufpreise von Testdatensatz: 426.416 Euro
Das Streudiagramm die Vorhersagen des KNN-Modells im Vergleich zu den tatsächlichen Kaufpreisen von Wohnungen. Die rote Linie, die als "zero error line" bezeichnet wird, repräsentiert die Linie, auf der die Vorhersagen exakt den tatsächlichen Werten entsprechen würden. Es ist eine Abweichung der Vorhersagen von der Zero Error Line zu erkennen, vor allem bei höheren Kaufpreisen, was auf eine Unterschätzung dieser Werte durch das Modell hindeutet. Das KNN-Modell hat eine angemessene Vorhersagegenauigkeit für die Wohnungen im niedrigen bis mittleren Preisbereich. Bei höherpreisigen Immobilien scheint die Genauigkeit jedoch abzunehmen. Dies könnte auf verschiedene Faktoren zurückzuführen sein, wie z.B. die Anwesenheit von Ausreißern oder eine nicht ausreichende Erfassung der Faktoren (wie genaue Standortinformationen), die teureren Wohnungen beeinflussen.
Performance des KNN-Modells mit Geodaten
Der mittlere quadrierte Fehler (MSE): 4164009215.37
Der mittlere absolute Schätzfehler (MEA): 32.309,831 Euro
Der einfache prozentuale Schätzfehler (RME%): 7,6 %
R2-Score: 0.942
Durchschnittliche tatsächliche Kaufpreise von Testdatensatz: 426.416,00 Euro
Das Streudiagramm die Vorhersagen des KNN-Modells im Vergleich zu den tatsächlichen Kaufpreisen. Auch hier "zero error line" repräsentiert die ideale Situation, in der die geschätzten Kaufpreise den tatsächlichen Kaufpreisen entsprechen würden.
Die Verteilung der Datenpunkte um die Zero-Error-Line deutet darauf hin, dass das Modell in gewissem Maße in der Lage ist, die Kaufpreise zu schätzen. Es zeigt eine hohe Konzentration der Vorhersagen nahe dieser Linie für niedrigere Preise, was auf eine präzisere Modellleistung in diesem Preissegment hindeutet. Jedoch scheinen die Vorhersagen tendenziell zu niedrig für höhere tatsächliche Kaufpreise zu sein, was auf eine systematische Unterschätzung in diesem Bereich hinweist.
Hinsichtlich der Fehler Metriken ergaben sich folgende Ergebnisse:
Das Modell, das mit zusätzlichen Geodaten trainiert wurde, weist eine signifikante Reduktion aller drei Fehler Metriken auf. Der MSE hat sich fast halbiert, der MAE um ca. 24% und der RMSE um ca. 25% reduziert.
Der prozentuale Schätzfehler (RME %) ist im KNN-Modell mit Geodaten mit 7,6 % niedriger als im KNN-Modell ohne Geodaten mit fast 10 %, was auf eine geringere durchschnittliche Abweichung der Vorhersagen vom tatsächlichen Preis hinweist.
Der R²-Score von 0.942 für das Modell mit Geodaten wird deutlich, dass dieses Modell, eine noch höhere Erklärungskraft für die Varianz der Immobilienpreise besitzt als das andere Modell, welches nur mit Immobilienscout24-Daten trainiert wurde, mit einem R² von 0.898. Ein höherer R²-Wert weist auf eine bessere Anpassung der Modellvorhersagen an die tatsächlichen Daten hin.
Zusammenfassend lässt sich festhalten, dass das Hinzufügen von Geodaten erheblich zur Verbesserung der Modellleistung beigetragen hat. Dies unterstreicht den Wert von standortbezogenen Informationen bei der Vorhersage von Immobilienpreisen. Das Modell mit Geodaten zeigt ein stärkeres Potenzial für präzise Vorhersagen und eine bessere Generalisierung auf unbekannte Daten.
Klassische Bewertungsmethode vs. KNN-Auswertung
Die traditionelle Bewertungsmethode gemäß ImmoWertV für die ausgewählte Wohnung weist eine Abweichung von ca. 15,50 % auf, während das entwickelte KNN-Modell (mit Geodaten) für dasselbe Wohnung eine Abweichung von etwa 3,34 % zeigt. Die gesamte Genauigkeit des KNN-Modells, gemessen am durchschnittlichen relativen Fehler (RME), beträgt 7,6 % der tatsächlichen Kaufpreise im Testdatensatz. Eine direkte Anwendung solcher Vorhersagemodelle für einzelne Wohnungen könnte problematisch sein, da die aggregierten Schätzfehler (MAE) als Durchschnitt über den gesamten Wohnungsbestand berechnet werden. Es ist wichtig zu beachten, dass selbst ein verbessertes KNN-Modell möglicherweise weiterhin erhebliche Abweichungen bei der Schätzung des Kaufpreises für dieselbe Wohnung aufweisen kann.
Ein möglicher Vergleich zwischen traditionellen Bewertungsverfahren und einem entwickelten KNN-Modell kann anhand der in der Literatur und der Praxis dokumentierten Einschätzungen und Abweichungen von Verkehrswerten, die von Sachverständigen ermittelt wurden, vorgenommen werden. In der Literatur und Rechtsprechung zur Bewertung von Grundstücken gelten Abweichungen von „bis zu ± 20 bis ± 30 %“ des festgestellten Marktwerts als akzeptabel (vgl. Kleiber, 2023, S. 472), wurde sogar eine Differenz von 16,79% durch Bundesgerichtshof als "geringfügig" bezeichnet.( vgl. BGH, Beschluss vom 21.10.2014 - XI ZB 12/12, Tenor Nr.:55, 2014).Zusätzlich wurde in einer Studie der Royal Institution of Chartered Surveyors (RICS) in Zusammenarbeit mit der Investment Property Databank (IPD) im Valuation and Sales Price Report 2008 eine durchschnittliche Bewertungsgenauigkeit in Deutschland von 13,3 % ermittelt (Vgl. RICS/IPD: Valuation and Sales Price Report 2008, S. 13 zitiert bei (vgl. Thomas et al., 2017, S. 772)). Diese unterschiedlichen Auffassungen über tolerierbare Abweichungen und Bewertungsgenauigkeiten können als Maßstab dienen, um die Ergebnisse des KNN-Modells in diesem Kontext zu bewerten. Mit einem Schätzfehler von etwa 7,6 % bzw. einem relativen mittleren Fehler (RME) zeigt das KNN-Modell eine sehr gute Leistung im Vergleich zu diesen Richtwerten.