Datenabgleich: Daten abgleichen und vergleichen

Datenabgleich, Datenzusammenführung und Vergleich von Versionen

Links

Software

Programme, Anwendungen, Tools, Programmbibliotheken und digitale Werkzeuge

Software und Tools aus meiner Feder

Reconcile App: Listen abgleichen und Übereinstimmungen anzeigen

Mit dem Open-Source Recherche-Tool Reconcile App lassen sich laiengerecht Listen auf Übereinstimmungen vergleichen.
Suche mit Listen

Sucht jeden Eintrag in einer Liste und zeigt an, wenn Suchergebnisse dazu in der eigenen Suchmaschine bzw. Solr basierten Suchlösungen gefunden werden können.
Unterstützt auch unscharfe Suche, mit denen auch ähnliche oder fehlerhafte Schreibweisen gefunden werden können.

Das Tool kann Listen mit hunderten oder tausenden Einträgen auch mit sehr grossen Datenmengen bzw. viele Gigabyte umfassenden anderen Listen, CSV-Dateien oder Dokumenten abgleichen, da die abzugleichenden Daten mit einer Suchmaschine indexiert wurden.
Open Semantic ETL

Python basiertes modulares Open Source Framework für Datenintegration, Extrahieren, Datenanalyse, Datenanreicherung, Verknüpfung und Zusammenführung von Daten

Empfehlungen aus meinen Bookmarks zu Open Source Software

DocDiff

Zeigt die Unterschiede bzw. Veränderungen zwischen zwei Texten. Zeigt nicht nur geänderte Zeilen-, sondern auch einzelne hinzugefügte oder gelöschte Wörter.
OpenRefine

Tabellenkalkulation zum Säubern, Verfeinern und Anreichern von Daten und Tabellen.

Unterstützt durch Facetten (Gruppieren und sortieren von Werten bzw. ihrer Anzahl in allen Datensätzen zur Übersicht und als interaktive Filter) und Clustering (zusammenstellen/finden von ähnlichen Daten).

Möglichkeit zum Anlegen dynamischer Spalten, die Tabellenzeilen anhand von bestimmten vorhandenen Werten in bestimmten Spalten mit Ergebnissen von Abrufen anderer Dienste befüllen bzw. anreichern, abgleichen oder vergleichen können, z.B. mit Daten aus zusätzlichen eigenen Diensten oder APIs oder mit Daten in externen Internetdiensten bzw. APIs.

Für OpenRefine exisiteren viele nützliche Zusatzmodule.
Spredsheet Deduper

Open Source Software and UI to find and dedupe similar entries in Spredsheads
Meld

Grafische Oberfäche um Verzeichnisse oder Textdateien miteinander zu vergleichen (Diff) mit visueller Anzeige von Unterschieden bzw. unterschiedlichen Zeilen
Diff

Kommandozeilentool, das die Unterschiede zwischen zwei Textdateien zeilen- bzw. abschnittweise einander gegenüberstellt
Dedupe Python Library

Command line tool and python library to find dupes or similar entries in lists or tables
Apache Stanbol

Open-Source Software für Service zum Analysieren von Text (z.B. mittels Entity Extraction), zum Anreichern mit semantischen Daten (z.B. Content Enhancement) und zum Ziehen von Schlüssen (Reasoning) anhand der semantischen Daten und Wissen bzw. Hintergrundwissen oder Strukturen (Ontologien).

Liest auf RESTful-Schnittstelle unstrukturierten Text als Input und gibt nach Analyse strukturierte Daten im Semantic Web Format bzw. einen semantischen Graphen / Linked Data (RDF) aus.
Rsync

Der Klassiker für die Kommandozeile zum Abgleichen und Übertragen von Dateien und Verzeichnissen. Überträgt mittels SSH verschlüsselt.
Fslint

Findet doppelte Dateien