Datenschutzstrategien im Vertikalen Federated Learning durch einfache Modelltransformationen

Datenschutz in Vertikalem Federated Learning: Eine einfache Transformation genügt

Vertikales Federated Learning (VFL) ermöglicht das gemeinsame Training von Deep-Learning-Modellen unter Wahrung des Datenschutzes. Dabei trainieren verschiedene Parteien, die jeweils unterschiedliche Merkmale zu den gleichen Datensätzen besitzen, gemeinsam ein Modell, ohne die Daten direkt auszutauschen. Trotz der inhärenten Datenschutzvorteile von VFL gibt es weiterhin Sicherheitslücken, insbesondere im Hinblick auf Feature-Rekonstruktionsangriffe, die darauf abzielen, die Eingabedaten der beteiligten Parteien zu kompromittieren.

Eine neue Forschungsarbeit argumentiert, dass Feature-Rekonstruktionsangriffe in VFL ohne Kenntnis der Apriori-Verteilung der Daten nicht erfolgreich sein können. Die Apriori-Verteilung beschreibt die Wahrscheinlichkeit des Auftretens bestimmter Merkmale in den Daten. Ohne diese Information ist es für Angreifer schwierig, die ursprünglichen Merkmale aus den während des Trainings ausgetauschten Informationen zu rekonstruieren. Die Studie zeigt, dass bereits einfache Transformationen der Modellarchitektur einen erheblichen Einfluss auf den Schutz der Eingabedaten haben können.

Konkret wurde die Widerstandsfähigkeit von MLP-basierten Modellen (Multilayer Perceptron) gegenüber Feature-Rekonstruktionsangriffen untersucht. MLP-Modelle bestehen aus mehreren Schichten von Neuronen, die miteinander verbunden sind, und werden häufig in Deep Learning Anwendungen eingesetzt. Die Ergebnisse zeigen, dass MLP-basierte Modelle eine hohe Robustheit gegenüber solchen Angriffen aufweisen. Dies liegt daran, dass die komplexen, nichtlinearen Transformationen innerhalb des MLP es Angreifern erschweren, die ursprünglichen Merkmale aus den ausgetauschten Aktivierungen zu rekonstruieren.

Die Forschungsergebnisse belegen, dass (semi-)orthogonale Transformationen der Client-Daten und der Gewichtsinitialisierung die übertragenen Aktivierungen während des Trainings unter GD-ähnlichen Algorithmen (Gradient Descent) nicht verändern und auch die Konvergenz für Adam-ähnliche Algorithmen nicht beeinflussen. Dies bedeutet, dass solche Transformationen als zusätzliche Schutzmaßnahme eingesetzt werden können, ohne die Modellgenauigkeit zu beeinträchtigen.

Darüber hinaus zeigt die Studie, dass bekannte Angriffe wie Hijacking und Model Inversion bei MLP-basierten Modellen ohne zusätzliche Modifikationen fehlschlagen. Die Autoren argumentieren, dass Feature-Rekonstruktionsangriffe verhindert werden können, ohne auf komplexe Verteidigungsmechanismen zurückgreifen zu müssen, während gleichzeitig die Modellgenauigkeit für die Hauptaufgabe erhalten bleibt. Diese Erkenntnisse lassen sich auch mit bestehenden Verteidigungsstrategien kombinieren, um den Datenschutz weiter zu erhöhen.

Die Ergebnisse dieser Arbeit sind auch für kleinere Modelle relevant und bieten somit ein breites Anwendungsspektrum. Sie unterstreichen die Bedeutung der Modellarchitektur für den Datenschutz in VFL und bieten einen neuen Ansatz zur Verbesserung der Sicherheit in diesem Bereich. Durch die Anwendung einfacher Transformationen können Unternehmen und Organisationen, die VFL einsetzen, die Privatsphäre ihrer Daten effektiver schützen und gleichzeitig von den Vorteilen des kollaborativen Lernens profitieren.

Bibliographie:

1. He, Chaoyang, et al. "Awesome-Federated-Learning." GitHub, GitHub, Inc., 2023, github.com/chaoyanghe/Awesome-Federated-Learning.
2. Kairouz, Peter, et al. "Advances and open problems in federated learning." Foundations and Trends® in Machine Learning 1