Deduplizieren einer Kundenliste in Python, wenn keine Zeilen exakt identisch sind

Doppelte Einträge in Kundenlisten sind selten identische Zeilen, weil sich etwa das Bestelldatum, die Stadt oder die Schreibweise der E-Mail unterscheiden. Welche Zeilen als Duplikate gelten, hängt daher vom gewählten Vergleichsschlüssel ab, der bestimmt, wie viele Zeilen entfallen und welche erhalten bleiben. Der Artikel zeigt dies anhand einer Beispielliste mit 412 Zeilen in reinem Python und vergleicht die Ergebnisse mit dem Befehl Remove Duplicates im Spreadsheet Editor von osFoundry. Ein Schlüssel über die ganze Zeile entfernt keine Einträge, die E-Mail allein entfernt alle 38 Wiederholungen, und E-Mail plus Stadt entfernt 25. Zudem behält die übliche Konvention die erste Zeile, was bei den meisten Dubletten nicht die neueste Bestellung ist, weshalb die Sortierung vor dem Deduplizieren wichtig sein kann.