Mehr als drei Jahre lang haben Archivare des National Archive in den USA daran gearbeitet, die Daten der Volkszählung aus dem Jahr 1940 zu digitalisieren.

Diese Daten sind ab dem heutigen Montag im Netz verfügbar und können durchsucht und heruntergeladen werden. Nutzungsbeschränkungen gibt es keine.

Durchgeführt wurde die Befragung damals eigentlich, um zu ermitteln, wie viele Sitze die einzelnen amerikanischen Bundesstaaten im Kongress zu beanspruchen haben, da sich diese Zahl nach der Bevölkerung richtet. Außerdem sollte dabei überprüft werden, wie korrekt die Geburtsregister geführt werden. Neben den Befragungen wurden dazu auch die Registerkarten ausgewertet – allerdings sind die dabei gewonnenen Daten nicht erhalten geblieben.

Doch auch ohne diese ist der Datenschatz gewaltig. Insgesamt 3,8 Millionen auf Mikrofilm gespeicherte Fotos mit den Fragebögen von mehr als 20 Millionen Menschen wurden gesichtet und aufbereitet. In diesen Bögen fragten die „Enumerators“, die Volkszähler, nicht nur nach Standardinformationen wie Name, Alter, Geschlecht, Hautfarbe, Bildung und Geburtsort. Sie wollten auch wissen, wie hoch das wöchentliche Einkommen des Befragten war, wo ihre Eltern geboren wurden und bei Frauen, wie oft sie verheiratet waren.

Die Frage nach dem Einkommen sorgte damals für heftige Debatten und ein republikanischer Senator versuchte, sie aus dem Bogen streichen zu lassen. Ohne Erfolg, doch konnten die Befragten die Antwort verweigern, wenn sie das wollten – es wollten aber nur zwei Prozent.

Die Daten böten heute einen historisch interessanten Einblick in die Zeit der großen Depression, schreibt das Nationalarchiv in der Ankündigung dazu auf seiner Website. Sie erzählen das Leben von 132 Millionen Amerikanern, in einer Zeit, als das Land sich durch Wirtschaftskrise und Weltkrieg wandelte.

Etwas mühsam ist allerdings die Suche darin. Denn verschlagwortet sind die Informationen nach den Befragungsbezirken von damals. Wer also seinen Großvater sucht, muss wissen, wo er damals wohnte und dann auf bereitgestellten Karten nachschauen, in welchem Befragungscluster (enumeration district) diese Adresse lag. Ein Personenindex ist in Arbeit, aber noch nicht fertig. Er soll in sechs bis neun Monaten verfügbar sein, wie es bei der Eröffnungsveranstaltung hieß.

Das britische Ministerium für Energie und Klimawandel hat am Donnerstag eine interaktive Karte veröffentlicht, die den Energieverbrauch öffentlicher und privater Gebäude im Land zeigt. Die Heat Map – wie diese Art der grafischen Umsetzung genannt wird – ist eine Hitzekarte im wahrsten Sinne, wird auf ihr doch der Heizbedarf der Gebäude in Kilowattstunden pro Quadratmeter angezeigt.

Die Karte basiert auf Googles Angebot Maps und sie kann bis fast auf die maximale Auflösung herangezoomt werden, wodurch Großverbraucher genau lokalisierbar sind. Auch, da sich Street View nutzen lässt, die Straßenansichts-Funktion.

Überraschend sind die Ansichten nicht, denn selbstverständlich ist der größte Energiebedarf in Großstädten wie London zu erkennen. Um Überraschungen aber geht es bei dem Projekt auch nicht.

Gedacht ist die Heat Map laut Ministerium, damit lokale Planungsbehörden die „heißesten“ Regionen identifizieren können. Das soll ihnen bei der Umsetzung von Kohlendioxid-Vermeidungsprogrammen helfen, beziehungsweise zeigen, wo die größten Energieverbraucher sitzen. Auch könne damit die Energieversorgung besser geplant werden, heißt es auf der Seite.

Entwickelt wurde die Karte vom britischen Zentrum für nachhaltige Energie. Als Basis dienen diesem Zentrum zufolge „modellierte Schätzungen“ des Verbrauchs. Leider sind diese Daten nicht zugänglich.

Ein ähnliches Projekt in kleinerem Rahmen gab es vor Kurzem in den USA. Vijay Modi, Professor für Mechanical Engineering an der Columbia University, und die Studentin Bianca Howard hatten eine solche Heat Map von New York gebaut. Auf dieser ist der geschätzte Stromverbrauch der einzelnen Gebäude verzeichnet, ebenfalls in Kilowattstunden pro Quadratmeter.

Im Gegensatz zur englischen Karte können auf der New Yorker Heat Map bei einem Klick auf eines der Gebäude die Verbrauchsarten Heizung, Kühlung, Strom und heißes Wasser unterschieden werden.

Basis war in diesem Fall eine Studie der beiden zur Berechnung eines möglichst genauen Verbrauchsmodells. Das Modell nimmt an, dass die Höhe des Verbrauchs stärker von der spezifischen Nutzung eines Gebäudes abhängt, als von seinem Alter oder seiner Bauweise. Bislang berücksichtigt die Darstellung dabei aber nicht die Gebäudehöhe, in Manhattan mit seinen Hochhäusern ein wichtiger Punkt. Die Autoren haben angekündigt, die Darstellung zu überarbeiten und die Geschosszahl einzubeziehen.

Auch bei dieser Karte ging es nicht um die Suche nach Auffälligkeiten, sondern in erster Linie darum, den Ist-Zustand abzubilden, um künftige Planungen zu erleichtern.

Die gute Nachricht zuerst: Nur noch 20 von 198 Staaten weltweit haben die Todesstrafe im vergangenen Jahr vollstreckt, berichtet Amnesty International in einer aktuellen Studie. Damit sei die Zahl der Staaten in den vergangenen zehn Jahren um ein Drittel gesunken.

Die schlechte Nachricht: Die Zahl der so Getöteten ist immer noch hoch. Genau wie die Zahl der Länder, in denen die Todesstrafe zumindest noch gilt: 139. Gleichzeitig sitzen laut der Menschenrechtsorganisation weitere 18.750 Menschen in den Todestrakten dieser Welt.

Im Jahr 2011 wurden in 19 der 20 noch vollstreckenden Länder insgesamt 676 Menschen hingerichtet, 43 davon in den USA. Ein Land wurde dabei nicht mitgezählt: China. Die chinesische Regierung teilt niemandem mit, wie viele Menschen sie umbringen lässt. Schätzungen von Amnesty für 2011 gehen von 1.000 Menschen und mehr aus.

Es gibt ein paar Grafiken, die veranschaulichen, welche Länder wie oft töten lassen. Hier zum Beispiel:

via chartsbin.com

Auch das Data-Blog des Guardian hat eine Grafik, allerdings eine statische. Dafür gibt es dort die Rohdaten als Spreadsheet zum Herunterladen.

Und Amnesty hat die Daten auch in einem Video visualisiert:

Apropos Video: Das hat jetzt mit Daten nichts zu tun, aber zum Sinn, beziehungsweise besser zum Unsinn der Todesstrafe hat der amerikanische Sozialkritiker und Comedian George Carlin schon vor Jahren alles gesagt, was es zu sagen gibt: „The blood is already on our hands. All we are talking about is a matter of degree.“

Visualisierungen von Daten werden gern mal als „eye-candy“ abgetan – als schick und bunt, im Ürbigen aber sinnlos. Dabei bieten Grafiken einen schnellen und unkomplizierten Weg, um Auffälligkeiten zu bemerken und komplexe Inhalte zu verstehen. Der britische Guardian hat in seinem sehr lesenwerten Data-Blog gerade wieder eine Visualisierung veröffentlicht, die das belegt.

„The teen pregnancy map of England & Wales“ zeigt, in welchen Regionen in England und Wales wie viele Minderjährige schwanger wurden. Die Daten umfassen den Zeitraum zwischen 1998 und 2009 und lassen sich als eine Art Film abspielen, der diesen Zeitraum abbildet. Die Verlaufskurven der einzelnen Regionen können außerdem einzeln betrachtet werden.

Dabei ist dann zu sehen, dass die Häufigkeit insgesamt sinkt. Immer weniger Jugendliche werden schwanger. Gleichzeitig ist erkennbar, dass in bestimmten Regionen die Zahl kaum zurückgeht.

Die Daten stammen von der britischen Statistikbehörde und können beim Guardian auch als Google Spreadsheet heruntergeladen werden.

Am Wochenende fand in Hamburg eine Konferenz zum Thema open data statt. Das Netzwerk Recherche hatte dazu geladen, vor allem um über Datenjournalismus zu reden.

Brant Houston von der University of Illinois erzählte etwas über die Geschichte das Datenjournalismus, die sehr viel länger zurückreicht als nur ein paar Jahre.

In einem anderen Panel ging es darum, wie man die Daten von Websites „kratzen“ (scrapen) kann, um sie zu verwenden – wie es beispielsweise der Zugmonitor der Süddeutschen Zeitung tut, um die Verspätungen der Bahn zu visualisieren.

Hier ein Video einer interessanten Podiumsdiskussion. Der Titel ist etwas irreführend, um das Scheitern von open data geht es eher am Rande. Ab 4:18 erzählt Christian Horchert, alias @fukami, ein wenig darüber, was offene Daten eigentlich sind. Ab 8:00 beginnt die Podiumsdiskussion mit Stefan Wehrmeyer, Entwickler der Seite fragdenStaat.de und mit Jan Mönikes, der Anwalt ist und Datenschutzbeauftragter. Sie diskutieren mit Matthias Spielkamp von iRights.info darüber, wo es offene Rohdaten der Verwaltung gibt, wo nicht und was damit möglich ist.

Die britische Regierung hat sich gerade selbst gelobt. Wenn es darum gehe, Datenbestände von Behörden öffentlich zugänglich zu machen, sei das Land führend in der Welt, sagte Kabinettsminister Francis Maude bei einer Tagung zum Thema Open Data in Birmingham. Die entsprechende Seite, data.gov.uk, sei die größte ihrer Art, mehr als 40.000 Datensätze stünden dort bereits zur Verfügung.

Das klingt toll. Doch der Zugang zu den Rohdaten ist nur der erste Schritt. Denn Rohdaten erreichen nur Spezialisten. Wer mit ihnen etwas anfangen will, muss sich mit vielen Werkzeugen auskennen, muss im Zweifel programmieren und Grafiken bauen können. Nur dann lassen sich aus ihnen sinnvolle Informationen gewinnen.

Maude hat das auch angedeutet. Immerhin sagte er, offene Daten seien „das Rohmaterial einer neuen industriellen Revolution“.

Etwas klarer drückte sich in diesem Zusammenhang der Chief Information Officer der amerikanischen Regierung aus. Steven VanRoekel sagte laut einem Bericht des Nieman Journalism Labs vor kurzem an der Harvard Law School, eine solche staatliche Datenplattform sei nur eine „dumme Leitung“ (dumb pipe).

Die USA haben mit data.gov eine ebensolche Seite wie die Briten. Damit die Inhalte jedoch von Nutzen wären, müssten sie aufgearbeitet werden, findet VanRoekel – und zwar von der Regierung selbst.

„Wir müssen mit dem Datengeschäft aufhören und mit dem Plattformgeschäft anfangen“, sagte er und meinte, die Regierung selbst solle damit beginnen, die Instrumente und Apps anzubieten, um die Daten lesen und verstehen zu können. Ohne diese finde niemand „die Nadel im Heuhaufen“, ja er könne nicht einmal den Heuhaufen sehen. Zu viele Daten gebe es inzwischen. Er wolle data.gov daher zu einer echten Open-Data-Plattform ausbauen.

Das klingt, als sind die Briten nur bei der schlichten Masse führend. Wenn es um die Möglichkeiten offener Daten geht, denken die USA längst weiter. Zumindest aber soll die britische Seite data.gov.uk in den kommenden Monaten überarbeitet werden, damit sie für Firmen leichter nutzbar sei, kündigte Maude an.

Und wie weit ist Deutschland bei dem Thema? Nunja. Die Datenplattform des Bundes existiert zumindest schon einmal als Website. Ein Prototyp mit ersten Datensätzen soll 2013 fertig sein. Vielleicht. Von der Entwicklung eigener Apps ist das zuständige Bundesinnenministerium wahrscheinlich noch weit entfernt.

Das folgende Projekt ist nur zum Teil offen, es steht also nicht vollständig der Allgemeinheit zur Verfügung. Doch es beschäftigt sich mit Daten – und zeigt dabei, wohin sich das Thema Datensammeln bewegt.

Es geht um den sogenannten Wave Glider, einen autonomen Roboter, der allein durch Wellenbewegungen angetrieben wird und sich dadurch lange Zeit auf dem Meer herumtreiben kann. Die Technik hat schon Preise gewonnen und befindet sich derzeit in einem Langzeittest.

Golem hat ein Videointerview mit Suneil Thomas veröffentlicht, dem Vizepräsidenten des Herstellers Liquid Robotics. Denn darin sagt er, worum es den Entwicklern geht: Der Wave Glider revolutioniere die Kosten des Datensammelns auf See, so Thomas, da er keine Besatzung brauche und keinen Treibstoff. „Und diese Daten werden unser Verständnis über die Ozeane verbessern.“

Autonome Systeme sind beim Sammeln beispielsweise von Wetterdaten längst selbstverständlich. Und auch in den Meeren wird seit langer Zeit beobachtet, ohne dass Menschen dabei sind. Bislang vor allem mit verankerten Bojen, an Tieren befestigten Messgeräten oder durch Zufälle, wie Tausende herumtreibende Plastikenten.

Roboter wie der Wave Glider sind ein neuer Weg. In der Luft wird dieser schon beschritten. Sogenannte Drohnen können Stunden bis Tage am Himmel kreisen, um ganze Regionen zu beobachten. Berichtet wird über sie derzeit vor allem im Zusammenhang mit Kriegen, da Armeen weltweit mehr und mehr dieser Flugroboter einsetzen und damit ein heftiges Für und Wider auslösen. Doch gibt es auch verschiedene zivile Projekte, die sie nutzen.

Nun ist das Meer dran. Der Wave Glider wird angetrieben vom Hub der Wellen. Der bewirkt, dass sich Paddel heben und senken, die sieben Meter unter der an der Wasseroberfläche schwimmenden Plattform hängen. Diese Paddel sorgen für Vortrieb. Solarpaneele auf dem Deck liefern Strom für die Messgeräte und die Kommunikation.

Die Schwimmdrohne hat mehrere Langstreckentests absolviert und gezeigt, dass sie funktioniert. Garantiert wird sich daher bald auch das Militär für die Technik interessieren. Bislang aber waren ihre Einsätze friedlich. Entwickelt wurde sie ursprünglich, um die Kommunikation von Walen aufzuzeichnen.

Beim aktuellen Test, der Überquerung des Pazifiks, sammeln die vier eingesetzten Wave Glider verschiedene Daten wie Wetterbedingungen, Wassertemperatur, Salz- und Sauerstoffgehalt und Wellenhöhe. Das Unternehmen stellt diese Informationen, schätzungsweise 2,25 Millionen Datenpunkte, jedem Interessierten zur Verfügung. Heruntergeladen werden können sie nach einer Registrierung hier.

„Sharing is caring„, lautet einer der Kernsätze des freien Internets. Wer Informationen und Inhalte teilt, heißt das, der vermehrt das Wissen aller. Lange waren Links das einzige Instrument, um an den Inhalt einer Website zu gelangen. Inzwischen gibt es jedoch eines, das viel mächtiger ist, die API.

Die drei Buchstaben sind ein Akronym für Application Programming Interface, also eine Schnittstelle, damit Computer miteinander reden und automatisiert Daten tauschen können. Viele Dienste wie beispielsweise Twitter bieten solche Schnittstellen. Über sie können die in den Diensten enthaltenen Informationen – beispielsweise die Tweets – ausgelesen und weiterverarbeitet werden.

Warum das alles hier erwähnt wird? Weil APIs die Voraussetzung für das Konzept offener Daten sind. Denn niemand wird sich hinsetzen und die europäischen Bevölkerungsstatistiken von Hand in Tabellen eintragen wollen, damit er irgendwann daraus eine Karte bauen kann. Damit Daten überhaupt weiterverarbeitet werden können, müssen sie automatisiert zugänglich sein. Dieser Zugang, eben die API, ist also eine der Bedingungen, damit Daten den Stempel „offen“ verdienen.

Seit einiger Zeit entwickelt sich auch in Deutschland eine neue Arbeitsweise, Daten-Journalismus genannt. Noch beschränkt sich der auf kleine Teams, die frei oder für ein paar große Verlage arbeiten. Das aber wird sich ändern, und APIs werden schon bald eines der wichtigsten Instrumente von Journalisten sein. Sie werden die Bedeutung haben, die früher das Telefon für die Arbeit von Medien hatte und die derzeit Google hat. Denn sie sind ein machtvolles Werkzeug, um an Informationen zu gelangen.

Wer ein wenig mehr zur Arbeitsweise von Schnittstellen wissen will und wie Journalisten sie nutzen können, hier entlang.

Das Poynter-Institut, eine renommierte Journalistenschule in Florida, hat gerade einen interessanten Text dazu veröffentlicht. „Acht APIs, die Ihre Nachrichtenredaktion ab sofort nutzen sollte“, lautet die Überschrift.

Aufgeführt ist dort beispielsweise der Datenzugang der Weltbank. Dort gibt es Finanzdaten aus mehr als 50 Jahren.

Oder der zur Open Library. Die will Informationen über „jedes jemals erschienene Buch“ sammeln. Ein Katalog der Welt-Bibliothek, in dem bereits 20 Millionen Bücher erfasst sind. In vielen Fällen beschränkt sich das auf die bibliografischen Angaben zu den Büchern, also beispielsweise Autor, Verlag, Erscheinungsjahr und Ort. Wenn das Urheberrecht es zulässt, wird aber auch der komplette Inhalt aufgenommen. Bereits eine Million Bücher wurden vollständig eingescannt, sodass sie gelesen und durchsucht werden können.

Aufgeführt sind aber auch zwei Medien, die selbst APIs bereitstellen, um ihren Inhalt weiterzugeben, USA Today und der Guardian. Bei der amerikanischen Zeitung können damit Überschriften und Metadaten durchsucht und sortiert werden. Die britische Tageszeitung stellt sogar den kompletten Inhalt der Texte ab 1999 zur Verfügung und bietet verschiedene Lizenzmodelle an, um diese Inhalte zu nutzen.

Noch sind viele Verlage leider sehr mit der Idee beschäftigt, ihre Inhalte so gut wie möglich gegen eine Nutzung durch andere abzuschotten. Es wäre nicht schlecht, wenn sich das bald änderte. Immerhin sind auch Zeitungsarchive riesige Datenschätze, aus denen sich neue Erkenntnisse gewinnen lassen.

Die 2010 gegründete schwedische Firma NComVA ist eine Ausgründung des National Center for Visual Analytics der Universität Linköping. NComVA beschäftigt sich damit, Dinge zu visualisieren, also grafisch darzustellen, seien es städtische Strukturen oder demografische Daten. Man wolle, so steht es in der Selbstbeschreibung, statistische Informationen so gut wie nur möglich zugänglich machen, damit sie verstanden werden können.

Wie so etwas aussehen kann, zeigt das Unternehmen beispielsweise anhand der europäischen Bevölkerungsstatistik. Unter dem Titel „Europa eXplorer“ ist die Altersstruktur der EU-Länder auf vielfältige Weise verarbeitet.

Auf Karten, Diagrammen und Punktwolken ist zu beobachten, wie sich Junge und Alte in Europa verteilen: Irland und Polen sind jung, Deutschland, Italien und Griechenland sind alt.

Der Nutzer kann selbst mit den Daten herumfummeln, kann verschiedene Darstellungsformen wählen, Filter darüber legen oder neue Kategorien hinzufügen und anzeigen lassen.

Die verwendeten Rohdaten sind frei und können heruntergeladen werden.

Außerdem kann die Plattform genutzt werden, um eigene Daten darzustellen. Hochgeladen werden können Daten im Excel- und im PC-Axis-Format.

Das Unternehmen bietet viele weitere Grafiken an. Beispielsweise eine, die den globalen Handel der USA mit OECD-Staaten darstellt, oder eine über Geburtenraten.

Das Ganze ist selbstverständlich Werbung für die Produkte der Firma. Aber es ist gute Werbung, lässt sie dem Nutzer doch die Freiheit, herumzuprobieren und Daten zu importieren und zu exportieren.

Pete Warden hat mal wieder Daten visualisiert. Warden ist der Gründer von Open Heat Map, einer Seite, mit der jeder in wenigen Schritten verschiedenste Daten in Karten und Darstellungen unwandeln kann.

Dieses Mal fragte sich Warden, wohin Amerikaner so in den Urlaub fahren oder fliegen und nutzte dazu Daten von Facebook. Basis waren die Geodaten vom Aufnahmeort von mehr als 350 Millionen Fotos, die auf Facebook verbreitet wurden. Daraus entstanden ist dann eine Karte der Urlaubsziele amerikanischer Facebooknutzer.

Das sieht schön aus und sagt auch etwas über die Gewohnheiten der Urlauber. So kommen die meisten Chinabesucher aus der Universitätsstadt Stanford, die meisten Spanientouristen aus Miami Beach und New Yorker fliegen am liebsten nach Paris. Wobei die mit Abstand meisten Paris-Reisenden aus West Hollywood kommen. Warum auch immer.

Das eigentlich spannende aber ist gar nicht die Karte oder das Projekt, es ist die Dokumentation dazu. Denn Pete Warden will nicht nur offene Daten erzeugen, er will auch sein Wissen offenlegen.

Und so erklärt er bei Radar O’Reilly Schritt für Schritt, wie es zu der Karte kam. Nebenbei erzählt er viel darüber, was sich mit Daten anstellen lässt und was bei der Verarbeitung beachtet werden sollte.

Ein wichtiges Wort dabei ist „fun„, Spaß. Schließlich haben die Open-Data-Bewegung, Datenjournalismus und Datenvisualisierung den schönen Nebeneffekt, dass sie zeigen, dass in Daten spannende Geschichten stecken, dass sie tatsächlich Spaß machen können.

Bei Warden liest sich das dann so: „My problem is that I want other people to have as much fun exploring the data as I’ve had, so I couldn’t resist adding some interaction to the vacation visualization.“ Weil er wolle, dass andere ebensoviel Spaß am Erforschen der Informationen hätten wie er, baue er gern interaktive Elemente ein. Wobei er im Weiteren erzählt, dass Interaktion nicht immer eine gute Idee sei, weil sie verwirrend sein könne. Manchmal sei eine statische Grafik schlicht besser, weil sie sofort vermittle, worum es bei der Geschichte geht.

Die Facebook-Touristen-Grafik ist dann aber doch interaktiv geworden. Warden sagt auch, warum: „I build these visualizations so I can explore them myself, so my favorite part of the whole process is the chance to sit and play with the results. There’s always unexpected stories hidden in there, and I love uncovering them.“ Denn der schönste Teil des ganzen Prozesses sei für ihn das anschließende Herumspielen mit der Grafik und das Suchen nach versteckten Geschichten. Denn die gebe es immer. „Und ich liebe es, sie zu finden.“