Hoply
KI-Datenpipeline
Wie ich aus unvollständigen Sportdaten einen verlässlichen Datensatz aufgebaut habe.
- Rolle
- Konzeption & Entwicklung
- Fokus
- Datenqualität und Anreicherung
- Status
- Fertig
01 · Das Problem
Es gab Lücken bei den Stadiondaten.
Die von mir genutzten Datenquellen lieferten zuverlässige Informationen zu den Spielen. Jedoch fehlten bei manchen kritische Stadiondaten. Hoply zeigt Nutzern Sportevents in der Nähe, weshalb ein genauer Spielort entscheidend ist.
- teamFortuna Düsseldorfin Ordnung
- league2. Bundesligain Ordnung
- fixtureSa, 15:30 · Heimin Ordnung
- venue.nameESPRIT arenaveraltet
- venue.addressleerfehlt
- venue.coordinatesleerfehlt
02 · Erste Lösung
Zuerst deterministisch.
Als ersten Ansatz entwickelte ich einen klassischen Webcrawler, der über Wikipedia und andere Quellen Teams den richtigen Stadien zuordnete. Damit baute ich die erste Datenbasis auf, die ich später auch für die Validierung der KI-Ergebnisse nutzte.
- NameFortuna Düsseldorfin Ordnung
- Liga2. Bundesligain Ordnung
- LandDeutschlandin Ordnung
- SportartFußballin Ordnung
„Fortuna Düsseldorf“ Heimstadion
- TrefferMerkur Spiel-Arenain Ordnung
- Fortuna DüsseldorfMerkur Spiel-Arena
- Adresse
- Arena-Straße 1, 40474 Düsseldorf
- Koordinaten
- 51.2616° N, 6.7332° E
- Borussia DortmundSignal Iduna Park
- Adresse
- Strobelallee 50, 44139 Dortmund
- Koordinaten
- 51.4927° N, 7.4518° E
- Hamburger SVVolksparkstadion
- Adresse
- Uwe-Seeler-Allee 9, 22525 Hamburg
- Koordinaten
- 53.5872° N, 9.8986° E
03 · Grenzen
Unordentliche Daten.
Mein klassischer Crawler hat für eindeutige Fälle gut funktioniert. Das Problem war jedoch, dass die Namen von Sportteams unterschiedliche Schreibweisen haben können. Auch können mehrere Teams denselben Namen tragen, aber in verschiedenen Sportarten spielen.
- NameBayern Munichin Ordnung
- LigaBundesligain Ordnung
- LandDeutschlandin Ordnung
- SportartFußballin Ordnung
„Bayern Munich“ Fußball Spielstätte
Namen abgleichen · Quellen prüfen
Unterschiedliche Schreibweisen
- Bayern Munich · Bayern München · FC Bayern München
- Die Namen stimmen nicht exakt überein. Der reine Namensabgleich erkennt das Team nicht zuverlässig.
Bayern Munich · Zuordnung offen
04 · Gemini Crawler
KI genau dort, wo Regeln nicht mehr reichen.
Für die verbleibenden Lücken entwickelte ich einen KI-Crawler mit Gemini. Er kann auch unordentliche Daten im Kontext verstehen und anhand von Teamname, Liga, Land und Sportart erkennen, welcher Verein gemeint ist. So lassen sich die richtigen Teams den passenden Stadien zuordnen.
Ich integrierte Google Maps Grounding in den Crawler, um die Spielstätten zu finden und ihre Adressen und Koordinaten zu ermitteln.
- NameBayern Munichin Ordnung
- LigaBundesligain Ordnung
- LandDeutschlandin Ordnung
- SportartFußballin Ordnung
- VereinFC Bayern München
- Stadion / ArenaAllianz Arena
- OrtMünchen
Allianz Arena
- AdresseFranz-Beckenbauer-Platz 5, 80939 Münchenin Ordnung
- Koordinaten48.2189° N, 11.6247° Ein Ordnung
05 · Validierung
Kein Ergebnis ohne Abgleich.
Ich übernahm die Ergebnisse der KI nicht blind. Zunächst testete ich verschiedene KI-Modelle, Prompts und Reasoning-Level, um die beste Kombination für diesen Anwendungsfall zu finden.
Dabei glich ich jedes Ergebnis mit meiner eigenen Referenzbasis ab. Diese hatte ich mit dem klassischen Crawler aufgebaut und anschließend manuell überarbeitet.
Trefferquote gemessen auf meinem selbst aufgebauten Referenzset.
- Modell
- Modell A
- Reasoning
- Niedrig
- Prompt
- Team einem Stadion zuordnen.
- Eingabe
- Name · Liga · Land · Sportart
60%
Trefferquote · Lauf 1/6
Ausgangswert
- 01 · Basis60 %Ausgangswert
- 02 · Prompt angepasst74 %Besser · übernommen
- 03 · Modell A → B69 %Schlechter · verworfen
- 04 · Modell B → C85 %Besser · übernommen
- 05 · Reasoning erhöht94 %Besser · übernommen
- 06 · Quellen ergänzt99 %Besser · übernommen
Bestwert 60 %
Stark vereinfachte Animation zur Veranschaulichung. Das Grundprinzip entspricht dem tatsächlichen Prozess.
Zusammenfassung
Von lückenhaften Daten zu verlässlichen Spielstätten.
- 01Die AusgangslageDamit Hoply Sportevents in der Nähe anzeigen kann, brauchte ich für jedes Spiel einen verlässlichen Spielort. Fehlende Stadionnamen, Adressen und Koordinaten musste ich durch eine eigene Datenanreicherung ergänzen.
- 02Der erste AnsatzIch entwickelte einen klassischen Webcrawler, der Teams über Wikipedia und weitere Quellen ihren Stadien zuordnete. Die gesammelten Daten überarbeitete ich später manuell und nutzte sie als Referenz für die KI-Ergebnisse.
- 03Die GrenzenBei der Zuordnung stieß ich auf unterschiedliche Schreibweisen, gleiche Teamnamen in mehreren Sportarten und fehlende Quellen. Für diese offenen Fälle brauchte ich einen Ansatz, der den Kontext versteht.
- 04Die KI-ErweiterungIch entwickelte einen KI-Crawler mit Gemini, der anhand von Teamname, Liga, Land und Sportart Verein und Spielstätte zuordnet. Mit Google Maps Grounding ergänzte ich die passende Adresse und die Koordinaten.
- 05Die QualitätssicherungIch prüfte verschiedene Modelle, Prompts und Reasoning-Level an meiner eigenen Referenzbasis. Durch diese Iterationen erhöhte ich die Trefferquote auf dem Referenzset von 60 bis 70 Prozent auf rund 99 Prozent.