LogoLobbywatch

Datenexport

Lobbywatch stellt Daten unserer Datenbank (DB) für eigene Auswertungen zur Verfügung.

Die Daten werden wöchentlich aus unserer Datenbank exportiert.

Datenexporte

Die Daten des aktuellen Parlaments werden in folgenden Datenformaten angeboten:

Format Archiv Sprache Beschreibung
CSV lobbywatch_export_parlamentarier.csv.zip de Archiv mit verschiedenen Exporten ausgehend von Parlamentariern, z.B. für jede Interessenbindung eine Zeile (empfohlen für den Einstieg)
CSV lobbywatch_export_flat.csv.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als CSV
CSV lobbywatch_export_all.csv.zip de Alle CSV-Exporte in einem Archiv
CSV lobbywatch_export_parlamentarier_transparenzliste.csv.zip de Export aller Transparenzlisten
SQL lobbywatch_export.sql.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als MySQL Dump
GraphML lobbywatch_export.graphml.zip de Export als Graphen im standardisierten XMl-basierten GraphML-Format
Neo4J (CSV) lobbywatch_export_neo4j.csv.zip de CSV-Dateien im Neo4j-Format mit Beispiel Importskript (bash) für die Graphen-DB Neo4j
OrientDB (JSON) lobbywatch_export_orientdb.json.zip de JSON-Dateien mit Beispiel Importskript (bash) für die Graphen-DB OrientDB
ArangoDB (JSONL) lobbywatch_export_arangodb.jsonl.zip de JSONL-Dateien mit Beispiel Importskript (bash) für die Graphen-DB ArangoDB
JSON lobbywatch_export_aggregated.json.zip de Parlamentarier aggregiert mit den verknüpften Daten als JSON
JSON lobbywatch_export_all.json.zip de Alle JSON-Exporte in einem Archiv
JSON lobbywatch_export_flat.json.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als JSON
JSONL lobbywatch_export_flat.jsonl.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als JSONL
XML lobbywatch_export_aggregated.xml.zip de Parlamentarier aggregiert mit den verknüpften Daten als XML
XML lobbywatch_export_flat.xml.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als XML
XML lobbywatch_export_all.xml.zip de Alle XML-Exporte in einem Archiv
YAML lobbywatch_export_aggregated.yaml.zip de Parlamentarier aggregiert mit den verknüpften Daten als YAML
YAML lobbywatch_export_flat.yaml.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als YAML
YAML lobbywatch_export_all.yaml.zip de Alle YAML-Exporte in einem Archiv
Markdown lobbywatch_export_aggregated.md.zip de Parlamentarier aggregiert mit den verknüpften Daten als Markdown
Markdown lobbywatch_export_flat.md.zip de, fr Direkter Export jeder SQL-Datenbank-Tabelle als Markdown
Markdown lobbywatch_export_all.md.zip de Alle Markdown-Exporte in einem Archiv
SPARQL lod.lobbywatch.ch de, fr Linked Open Data (LOD)

Als Zeichensatz wird immer UTF-8 (Unicode) verwendet.

CSV

CSV-Dateien können in Tabellenkalkulationen wie LibreOffice Calc, Excel oder Apple Numbers importiert werden.

Die Felder sind Tabulator getrennt. Anführungszeichen (") in Texten werden mit einem zweifachem Anführungszeichen „escaped“. Die Zeilenende sind im UNIX-Stil (EOL = \n).

SQL

MySQL-Dump zum Erstellen einer eigenen, lokalen Lobbywatch-DB. Der SQL-Dump ist mit MySQL 5.7 kompatibel. Der Import wurde nicht mit anderen SQL-Datenbanken wie MariaDB, PostgreSQL, MSSQL oder Oracle getestet. Es könnte funktionieren oder auch nicht. Wir wären um Rückmeldungen zur Kompatibilität froh.

GraphML

GraphML ist ein weit verbreitetes und standardisiertes XML-basiertes Austauschformat für Graphen.

Example statement for importing the lobbywatch.graphml file into graph DB Neo4j (ref):

CALL apoc.import.graphml('lobbywatch.graphml',{batchSize: 10000, readLabels: true, storeNodeIds: false, defaultRelationshipType:"RELATED"})

Statement to delete a whole Neo4j graph DB:

MATCH (n) DETACH DELETE n

Neo4j

Neo4j ist eine häufig eingesetzte Graphen-DB. Neo4j ist in der Community Edition Open Source.

Siehe Neo4j Import Dokumenation

Neo4j Desktop 3.5.13 was used for development.

OrientDB

Siehe OrientDB Import Dokumenation

Docker-Befehl für den OrientDB-Container

docker run -d --name orientdb -p 127.0.0.1:2424:2424 -p 127.0.0.1:2480:2480 -e ORIENTDB_ROOT_PASSWORD=password -v PATH/TO/DB:/orientdb/databases -v PATH/TO/IMPORT:/import orientdb:3.0.24

ArangoDB

Siehe ArangoDB Import Dokumenation

Docker-Befehl für den ArangoDB-Container

docker run -d --name arangodb -p 8529:8529 -e ARANGO_NO_AUTH=1 -e ARANGO_STORAGE_ENGINE=rocksdb -v PATH/TO/DATA:/var/lib/arangodb3 -v PATH/TO/APPS:/var/lib/arangodb3-apps -v PATH/TO/IMPORT:/import arangodb/arangodb:3.5.1

JSON

JSON ist ein gängiges Datenaustauschformat.

Der Browser Firefox kann JSON standarmässig in übersichtlicher Form darstellen. Daneben gibt es das JSONView Addon für Firefox oder die JSONView Extension für Chrome.

JSON Lines (JSONL)

JSONL ist JSON mit jeweils einem Datensatz auf einer Zeile.

Das Kommandozeilenprogramm jq kann JSON-Dateien umformen und bearbeiten.

XML

XML ist ein gängiges Datenaustauschformat.

YAML

YAML ist eine vereinfachte Auszeichnungssprache (englisch markup language) zur Datenserialisierung, angelehnt an XML (ursprünglich) und an die Datenstrukturen in den Sprachen Perl, Python und C.

Markdown (md)

Markdown ist eine vereinfachte, weit verbreitete Auszeichnungssprache (englisch markup language).

Der Export der Daten in Markdown ist eine technische Spielerei. Aber hey, es ist meine Freizeit.

JSON REST-Schnitstelle (dataIF)

Für die Lobbywatch-Daten gibt es eine REST-Schnittstelle.

Spezifikation:

Die Spezifikationen sind äquivalent. Sie beschreiben die gleiche Schnittstelle, aber auf unterschiedliche Weise.

Jupyter Notebook

Jupyter Notebook erlauben die interaktive Auswertung von Daten.

Das Jupyter Notebook Parlamentarier ohne Arbeitgeber wurde zur Illustration erstellt.

GraphQL

Gewisse Daten von Lobbywatch stehen auch in einer GraphQL-Schnittstelle zur Verfügung.

Die Daten basieren auf der dataIF REST-Schnittstelle.

SPARQL / Linked Open Data (LOD)

Basierend auf dem wöchentliche SQL-Export werden Linked Open Data zur Verfügung gestellt. Die Subdomain lod.lobbywatch.ch wird von zazuko unentgeltlich zur Verfügung gestellt. Herzlichen Dank!

Nutzungsbedingungen

Die aktuellen Daten von Lobbywatch sind frei und kostenlos verfügbar. Für ihre Nutzung gelten jedoch gewisse Regeln. Zur Klarheit haben wir ein Merkblatt erstellt.

Aktualisierung

Die Exporte werden wöchentlich frühen Montagmorgen automatisch aktualisiert.

Datenmodell

Die Daten werden in einer relationalen MySQL-Datenbank gespeichert. Das Datenmodell zeigt die Relationen und hilft beim Verständnis der Daten.

Weiterführende Informationen sind auf der Technik-Seite zu finden.

Historisierte Daten

Historisierte Daten (d.h. nicht mehr aktuelle Daten, die in der Datenbank weiterhin vorhanden sind) können bei uns angefragt werden. Die Nutzungsbedingungen für historisierte Daten sind im Merkblatt beschrieben.

Rückmeldungen

Wir betreiben Lobbywatch in unserer Freizeit. Wir setzen alles daran um korrekte Daten zu haben, aber Fehler können passieren. Bitte melden Sie uns Datenfehler. Gerne auch Verbesserungsideen.

Wir freuen uns über Rückmeldungen, wenn sie Auswertungen mit unseren Daten machen, siehe Merkblatt. Wir unterhalten eine Liste mit Projekten zum Thema Lobbying mit unseren Daten.

Support

Die Datenexporte stellen wir „als Service“ in verschiedenen Formaten zur Verfügung. Der Datenimport verlangt je nach Datenformat vertiefte Kenntnisse. Aus Kapazitätsgründen können wir keine Hilfeleistungen (Support) für grundlegende Benutzung der jeweiligen Programm bieten. Bitte machen Sie sich im Internet kundig oder konsultieren Sie die Dokumentation der jeweiligen Programme.