Blattspinat

  • RSS icon
  • Daten statt Dienste

    Geschredderte Akten
    Daten in der falschen Darreichungsform können oft mit nur viel Aufwand verwendet werden


    Nachdem der Stadtrat Dresden schon vor fast vier Jahren eine OpenData Strategie verabschiedet hat, ist es nun endlich soweit und die Stadt hat ihr OpenData Portal live geschaltet. Ein kleiner Grund zum Feiern. Doch für die lange Wartezeit hatte sich die lokale OpenData-Community allerdings etwas mehr erwartet: Neben den schlechten (oder schlecht zugänglichen) Metadaten stehen die meisten Daten gar nicht als Download sondern nur als Dienst bereit. Einige der Dienste melden dann auch noch den Fehler, dass der Nutzer keine Zugriffsrechte hätte. Die Daten stehen also als Schnittstelle für die Ansicht in professioneller GIS-Software bereit, statt als Rohdaten zur Verarbeitung in eigener Software. Besonders ärgerlich daran finde ich, dass diese Kritik schon beim OpenData Crunch vor drei Jahren mehrfach geäußert wurde. Damals wurde angemerkt, dass man dieses Problem nicht auf dem Schirm hatte und versprach, dass man in Zukunft darauf achten werde, die Daten auch in üblichen Formaten als Download bereitzustellen. Ich finde es nicht verwerflich, dass eine Stadt im ersten Versuch nicht weiß, in welchen Formaten so eine OpenData Community die Daten gern hätte. Wenn man dann aber Besserung verspricht, es nach 3 Jahren aber immer noch nicht schafft, seine Daten sinnvoll bereitzustellen, dann fehlt es entweder an Wille oder an Kompetenz. Im Vorfeld des Startes des Portals kam von der Stadt übrigens noch die Kritik, dass es kein Feedback von der Community gibt. Gleichzeitig mussten die Vertreter der Stadt eingestehen, dass es weder einen geeigneten Feedbackkanal noch die personellen Ressourcen gibt, um das Feedback entgegen zu nehmen.

    So, genug gemeckert, hier jetzt eine Zwischenlösung: Natürlich gibt es Tools um auch aus den bereitgestellten Schnittstellen alle Daten herunter zu laden und zu konvertieren. Mit den OGR-Tools kann man das alles sogar in einem Schritt machen. Um z.B. alle Straßenbahnlinien als GeoJSON herunterzuladen führt man einfach folgendes aus:

    ogr2ogr -f GeoJSON "bahnlinien.geojson" "WFS:https://kommisdd.dresden.de/net3/public/ogc.ashx?NodeId=620&Service=WFS&Request=GetCapabilities" -t_srs EPSG:4326

    Einige Datensätze bestehen aus mehreren Layern. Da GeoJSON das Konzept Layer nicht kennt, kann es hier zu Fehlern kommen. Wenn man das Argument -nln layer anfügt, landen alle Daten in einem Layer. Außerdem erkennt der WFS-Treiber die Datentypen nicht immer zuverlässig, was dazu führen kann, dass z.B. versucht wird, die Nummern von Buslinien als Ganzzahl zu parsen. Das schlägt bei einer Buslinie „B“ natürlich fehl. Deswegen kann man dem Parser sagen, dass er alle Daten als Zeichenkette lesen soll, indem man vorher export GML_FIELDTYPES=ALWAYS_STRING ausführt.

    Damit das jetzt nicht jeder selber machen muss, habe ich das mal komplett für alle Services aus dem Portal gemacht. Das sind insgesamt fast 14GB, komprimiert 3GB und können hier oder auf meinem OpenData Portal heruntergeladen werden. Die Lizenz bleibt die dl-de/by-2-0 mit Namensnennung der Landeshauptstadt Dresden, wie in den nicht verlinkbaren Nutzungsbedingungen des OpenData Portals.

    Veröffentlicht am 30.06.2019
  • Dein täglicher Beitrag zum freien Wissen

    Ich bin ja süchtig nach Crowdsourcing-Projekten. Aber viel mehr Spaß machen diese Projekte, wenn möglichst viele Menschen mit machen. Das können auch ganz kleine Dinge sein, die nicht viel Arbeit machen und in Sekunden erledigt sind. Die meisten Aufgaben lassen sich auch auf dem Smartphone erledigen – Super zur Überbrückung von Wartezeit zwischendurch. (Das Argument »Ich habe dafür keine Zeit« zählt nicht, du hast scheinbar auch Zeit diesen Artikel zu lesen.)

    Duolingo Steak
    Täglicher Übungsfortschritt bei Duolingo

    Ich habe mal ein paar Beispiele aufgelistet, die in kurzer Zeit erledigt sind und bei denen jede mitmachen kann:

    • Wikidata Game: Hier kann man mit wenigen Klicks helfen Wikidata zu verbessern. Ein Beispiel einer Spielkategorie ist das Zuordnen von Bildern zu Items: Hier werden Wikidata-Items angezeigt, zu denen kein Bild hinterlegt ist, ein zugehöriger Wikipedia-Artikel aber ein Bild enthält. Als Spielerin entscheidet man, ob das Bild auch zum Wikidata-Item passt.
    • Items aus dem Wikidata Cardgame Generator verbessern: Eigentlich generiert diese Seite ein Kartenspiel aus einer beliebigen Wikidata Kategorie. Doch manchmal fehlen noch Eigenschaften bei einigen Spielkarten. Diese kann man mit Hilfe der zugehörigen Wikipediaartikel oft wunderbar einfach ergänzen.
    • Mozilla Common Voice: Es gibt kaum freie Datenquellen für das Training von Spracherkennungssystemen. Solche Daten braucht man aber um eine OpenSource Spracherkennung zu bauen, wenn man z.B. eine freie Alternative zu Alexa oder Google Home bauen möchte. Mozilla will dieses Problem lösen und sammelt Stimmen in allen Sprachen. Auch du kannst helfen, die Sprachdatenbank noch größer und diverser zu machen: Einfach die kurzen angezeigten Sätze vorlesen.
    • Ein Denkmal für Wikimedia Commons fotografieren. Unsere Dörfer und Städte sind voller Baudenkmäler. Viele von diesen nehmen wir gar nicht wahr. Die Wikipedia sammelt aber Bilder davon. Also einfach die Liste der Kulturdenkmale deines Stadtteils oder Dorfes in der Wikipedia suchen, Denkmäler fotografieren und dann nach Commons hochladen. Vielleicht hast du sogar schon mal eines davon fotografiert, ohne zu wissen, dass es ein Denkmal ist. Kulturdenkmale sind natürlich nur eine Anregung für Fotos, die man auf Commons hochladen kann. Bestimmt hast du auch schon viele andere tolle Fotos gemacht, die es wert sind auf Commons hochgeladen zu werden.
    • Fehler bei OpenStreetMap melden: Manchmal gehst du vielleicht durch deinen Stadtteil und siehst, dass sich etwas verändert hat. In solch einem Moment schau doch einfach ob diese Veränderung schon in OpenStreetMap eingetragen ist. Wenn du dich noch nicht traust diese Änderung selber einzutragen, dann hinterlasse mit dem Fehlermeldetool einen Hinweis. Es selber zu ändern ist aber in der Regel sehr einfach und man kann nichts kaputt machen.
    • OpenStreetMap Daten überprüfen: Du sitzt in einem Café und wartest auf eine Verabredung oder auf deinen Kaffee? Schlage doch einfach die Zeit tot, indem du schaust ob die Öffnungszeiten des Cafés noch mit denen in OSM übereinstimmen.
    • Immer mehr Museen machen ihre Kunstwerke bei Wikimedia Commons verfügbar. Mit dem Wikidata Art Depiction Explorer kannst du diese Bilder maschinenlesbar und sprachunabhängig mit Labels versehen. – Dank an Knut für den Hinweis

    Ich fände es super, wenn sich jeder so motivieren ließe jeden Tag einen kleinen Beitrag für freies Wissen zu leisten, wie Duolingo uns motivieren kann jeden Tag eine Sprache zu lernen. Um euren Fortschritt zu tracken fände ich es super, wenn ihr euren täglichen Beitrag unter dem Hashtag #DailyCommonsContribution verwittern würdet, um somit vielleicht auch andere anzuspornen mitzumachen.

    Ich fände es cool, wenn jemand eine Idee hat, wie man seine täglichen zusammenhängenden Beiträge so wie bei Duolingo tracken kann.

    Veröffentlicht am 14.05.2019
  • Der kleine ICE – Umspuren ist Magie

    Oft ist es ja so, dass die Ergebnisse von Hackathons nicht gut dokumentiert werden und so der Rest der Welt nichts von den revolutionären Ideen mitbekommt, die auf der Veranstaltung entstanden sind. Um das zu verbessern habe ich die Abschlusspräsentation des Projektes, welches robbi5 zusammen mit mir auf dem letzten DB-Hackathon umgesetzt hat, noch mal als Video eingesprochen. Viel Spaß damit.

    Veröffentlicht am 15.01.2018
← Ältere Artikel
  • Feedback
  • RSS
  • Impressum