Dev-Blog

Entwicklungsblog von ZEIT ONLINE

Hack the newsroom!

Von 4. Juni 2013 um 11:01 Uhr

Redaktionen müssen sich täglich neu erfinden und Experimente zulassen. Sie müssen permanent im Beta-Stadium sein, denn die Lesegewohnheiten verändern sich schnell und der journalistische Markt ist umkämpft.

Weil neue Ideen oft mit technischen Anforderungen verbunden sind, ist Teamwork gefragt. Wir erleben das in der täglichen Arbeit bei ZEIT ONLINE zum Beispiel im Datenjournalismus. Hier arbeiten Journalisten mit Designern und Programmieren zusammen, jeder bringt sein Fachwissen ein, um zeitgemäßes Storytelling zu entwickeln.

Das Global Editor’s Network (GEN) fördert eine solche Herangehensweise mit der Veranstaltungsreihe Editor’s Newslabs. Teams aus Journalisten, Designern und Programmierern treten dabei in einen journalistischen Wettstreit. Die Mannschaften haben zwei Tage Zeit, zu einem vorgegebenen Thema kreative Lösungen zu finden.

Eine solche Veranstaltung des GEN-Newslab findet nun auch in Deutschland statt: Der ZEIT-ONLINE Newsroom am Askanischen Platz 1 in Berlin wird am 6. und 7. Juni der Austragungsort sein.

Das Thema dieses Hackathons lautet: Innovative use of Open Data to cover Global Development. Ein spannendes Thema, das weit auslegbar ist und viele kreative Möglichkeiten lässt. Es könnte zum Beispiel mit einem spannenden Datensatz gearbeitet werden, der internationale Entwicklung verständlich macht und Grundlage für zukünftige Entscheidungen sein kann. Denkbar wäre auch die Erarbeitung eines Konzepts, das die Gewinnung und Sammlung von internationalen Daten zum Ziel hat.

Neben dem Wettstreit ist auch das Kennenlernen und Austauschen die Redaktionsgrenzen hinweg wichtig. Zugesagt haben Teams von Spiegel/Spiegel Online, sueddeutsche.de, dpa, NDR, Deutsche Welle, Berliner Morgenpost und Rhein-Zeitung. Besonders freuen wir uns auf die Kollegen des kroatischen Teams von 24sata.hr. Am 7. Juni (Freitag) pitchen die Teilnehmer mit ihren Projekten. Hier ist interessiertes Publikum herzlich willkommen. Los gehen die 5minütigen Präsentationen um 16:30 Uhr im Veranstaltungsraum von ZEIT ONLINE.

Press Release (english)

austrai_580.jpg
Ein Team von ZEIT ONLINE hat bereits an einem ähnlichen Hackathon in Österreich teilgenommen und gewonnen. Teams von ORF, Neue Zürcher Zeitung, Der Standard, der APA und anderen ambitionierten Newsrooms befassten sich zwei Tage lang mit dem Thema Internationale Migration.

Datensätze wurde gesichtet, Wireframes skizziert und erste Prototypen programmiert. Zum Abschluss stellte jedes Team das Erarbeitete in einem Fünf-Minuten-Pitch vor. Eine Jury kürte die Sieger. Das Team von ZEIT ONLINE – Annabel Church, Paul Blickle und Sascha Venohr – kam mit den Kollegen des ORF gemeinsam auf Platz eins.

Unser Siegerbeitrag sieht vor, mit Hilfe von Facebook-Daten zu visualisieren, wie Integration in verschiedenen Staaten tatsächlich funktioniert. Der ORF überzeugte mit einer trimedialen Umsetzung regionaler Daten Österreichs. Hier gibt es alle Projekte auf einen Blick.

Mit dem Sieg verbunden war ein Preisgeld von 5.000 Euro und die Qualifikation für den globalen Final-Hackathon während des World Summit in Paris.

Auch die Gewinner des Hackathons in Berlin haben knapp zwei Wochen vor dem Weltfinale die Chance, noch nach Paris zu fahren.

Wir werden an beiden Tagen live unter dem Hashtag #EditorsLab twittern.

ZON-API ist quelloffen

Von 10. April 2013 um 10:56 Uhr

Seit dem Launch der Beta-Phase hat unsere API nun mehrere Millionen Requests beantwortet. Wir haben spannende Projekte gesehen und viel konstruktives Feedback erhalten. Ein öffentliches Bugtracking und der neue Twitterchannel @zeitonline_dev waren die ersten Schritte, dieses Potenzial zu nutzen. Nun möchten wir interessierten Entwicklern einen Einblick in unsere Schnittstelle geben. Alle Sourcen der API sind ab sofort auf Github verfügbar. Die Architektur erläutern wir hier kurz.

Vom CMS zur API zur App

Der Publikationsprozess unseres Content Management Systems stößt eine Reihe von Aktionen an, die den Artikel auf unterschiedlichen Kanälen verfügbar machen. Für die API werden die Rohdaten des Artikels mit XSL transformiert und via HTTP an den API-Suchserver gesendet. Dies realisieren wir mit Solr, einem Projekt der Apache Foundation. Solr basiert zum größten Teil auf Lucene Bibliotheken und bietet mächtige Features zur Volltextsuche über große Datenmengen. Auch in anderen Bereichen von ZEIT ONLINE wird mit Solr-Technologie gearbeitet, so dass die Wahl für das API-Projekt nahe lag. Die API benutzt für Suchanfragen den ExtendedDisMax Query Parser von Solr. Dieser ist bezüglich der Syntax sehr fehlertolerant und gut geeignet, Benutzereingaben direkt zu verarbeiten. Er unterstützt die volle Suchsyntax und kann spezifische Queries mit boolschen Verknüpfungen, Feldselektoren oder Zeitspannen verarbeiten.

Die sogenannte Facettierung ist ein weiteres Feature von Solr, das für Gruppierung und Quantifizierung von Inhalten nützlich ist. Eine Facette eines Feldes zeigt an, welcher Wertebereich innerhalb der Suchanfrage vorkommt und wie oft ein Wert vertreten ist. Eine Facette ist also eine Untermenge der eigentlichen Query.

Solr bildet keine Relationen zwischen Elementen ab. Deshalb haben wir uns für eine Hybrid-Lösung entschieden: Der Suchserver indexiert Artikeltexte und konstante IDs der zugehörigen Metadaten-Objekte. Die Metadaten-Objekte selbst werden in einer relationalen Datenbank unter der entsprechenden ID als Schlüssel gespeichert. Dies ist zum Beispiel die Kategorie und lexikalische Schreibweise eines Schlagworts. Durch diese Trennung können globale Änderungen an Metadaten durchgeführt werden, ohne dass alle betroffenen Artikel neu indexiert werden müssen.

Ein HTTP-Request an die API wird von einer Middleware auf Basis des Web Frameworks Flask beantwortet. Die Parameter und deren Werte werden auf Gültigkeit überprüft und der angegebene API-Key verifiziert. War die Anfrage valide, muss sie zunächst für den Solr übersetzt werden, da dessen REST-Interface leicht von dem unserer API abweicht.

Die Maskierung und Reduktion der umfangreichen Möglichkeiten von Solr soll die Bedienung der API vereinfachen und ist dem Datenschema angepasst. Als Ausgabeformat setzen wir auf JSON. Es ist schemafrei, wird von den meisten Sprachen und Plattformen unterstützt und ist auch in Rohform noch gut lesbar.

Happy Developing

Wir freuen uns über jeden Fork,  jeden Pull-Request und auf einen regen Austausch. Unser Code unterliegt der BSD-Lizenz, da diese Entwicklern alle Freiheiten gibt, Code zu verändern und zu redistribuieren. Über einen kurzen Hinweis, wo und wie unser API-Code zum Einsatz kommt, würden wir uns freuen.

Wir werden unsere API selbstverständlich weiter verbessern. Auch Bugreports und Featurerequests sind weiterhin willkommen.

Links zum Thema

Kategorien: API

zeitRemix – Facettierung durch Schlagworte

Von 11. Januar 2013 um 12:10 Uhr

Auf Basis der ZEIT ONLINE Api hat Ron Drongowski die Anwendung zeitRemix erstellt.
Die Anwendung erschließt den umfangreichen Textbestand über eine Facettierung der Schlagworte. Dabei können die Schlagworte der Artikel kombiniert werden, um die Anzahl der zutreffenden Artikel einzugrenzen. Über den abgefragten Zeitraum ist eine zweite Eingrenzungsebene gegeben.

Screenshot der zeitremix Anwendung mit den Schlagworten: Europäische Union Erderwärmung Klimawandel China

Facts:

Disclaimer: Ron Drongowski leitet das Technik-Backend Team von ZEIT ONLINE.

Kategorien: Anwendung, API