KI System FiveThirtyNine liefert präzisere Prognosen als Experten

Leistung im Vergleich zu menschlichen Experten

Um die Leistung von FiveThirtyNine zu testen, wurde es mit Fragen von der Metaculus-Vorhersageplattform bewertet. Die KI durfte nur auf Informationen zugreifen, die auch den menschlichen Vorhersagern zur Verfügung standen. Mit einem Datensatz von 177 Ereignissen erreichte die Metaculus-Gruppe eine Genauigkeit von 87,0 Prozent, während FiveThirtyNine die Experten mit 87,7 Prozent ± 1,4 übertraf.

Schwächen und Einschränkungen

Das System hat jedoch einige Schwächen. Es ist nicht speziell für bestimmte Anwendungsfälle optimiert und wurde nicht auf seine Fähigkeit getestet, Finanzmärkte vorherzusagen. FiveThirtyNine kann keine Vorhersage ablehnen, wenn es eine ungültige Anfrage erhält. Zudem ist das Modell auf Informationen aus dem Trainingsmaterial beschränkt. Wenn etwas nicht in der Vorverteilung enthalten ist und keine Artikel darüber geschrieben wurden, weiß das Modell nichts darüber – selbst wenn ein Mensch eine Vorhersage treffen könnte.

Für Vorhersagen über sehr kurzfristige oder aktuelle Ereignisse schneidet FiveThirtyNine ebenfalls schlecht ab, da sein Training vor einiger Zeit abgeschlossen wurde und es daher beispielsweise standardmäßig annimmt, dass Joe Biden noch im Rennen ist.

Potenzielle Anwendungen

Die Entwickler sehen eine breite Palette von möglichen Anwendungen für prädiktive KIs wie FiveThirtyNine. Dazu gehören:

- Unterstützung von Entscheidungsträgern - Verbesserung der Informationslandschaft durch zuverlässige Vorhersagen - Risikobewertung in Chatbots und persönlichen KI-Assistenten

Fazit

Das Center for AI Safety hat mit FiveThirtyNine ein KI-System entwickelt, das darauf abzielt, menschliche Experten in der Vorhersage von Ereignissen zu übertreffen. In einem Test auf der Metaculus-Vorhersageplattform erreichte FiveThirtyNine eine Genauigkeit von 87,7 Prozent und übertraf damit eine Gruppe menschlicher Experten, die 87,0 Prozent erzielte. Das System weist jedoch auch Schwächen auf, wie etwa die mangelnde Spezialisierung auf bestimmte Anwendungsfälle, die Beschränkung auf Informationen aus dem Trainingsmaterial und die schlechte Leistung bei sehr kurzfristigen oder aktuellen Ereignissen.

Quellen

1. https://www.safe.ai/blog/forecasting
2. https://www.sciencedirect.com/science/article/pii/S0169207021001758
3. https://www.weforum.org/agenda/2023/12/ai-weather-forecasting-climate-crisis/
4. https://aiimpacts.org/wp-content/uploads/2023/04/Thousands_of_AI_authors_on_the_future_of_AI.pdf
5. https://www.preventionweb.net/news/ai-and-machine-learning-are-improving-weather-forecasts-they-wont-replace-human-experts
6. https://blogs.lse.ac.uk/impactofsocialsciences/2023/11/09/who-is-the-better-forecaster-humans-or-generative-ai/
7. https://ar5iv.labs.arxiv.org/html/1705.08807