Visualize IT: Komplexe Softwarearchitekturen sichtbar machen mit Gephi

​In der Welt der Software-Modernisierung stehen wir oft vor der Herausforderung: Wir kommen in neue Projekte oder zu neuen Kund:innen und treffen auf komplexe Legacy-Softwaresysteme, die wir möglichst schnell durchdringen müssen. Bilder, Grafiken, Diagramme helfen sehr um ein Gefühl für das System, die Komplexität und eventuelle Problembereiche zu entwickeln. Neben Standarddarstellungen und bestehender Dokumentation wünschen wir uns oft einfache Graphen zu individuellen Fragestellungen zu erzeugen. 

Beispiel: Eine Gesamtübersicht eines komplexen Softwareprojekts in Gephi, mit farblich hervorgehobenen Modulen und Abhängigkeiten.

Ziel: Einen guten Überblick über die Funktionalität von Gephi zu bekommen und mögliche “Best-Practices” mit dessen Umgang zu erarbeiten, die uns und anderen Kolleg:innen (die evtl. noch nie mit Gephi gearbeitet haben) helfen würden, die Struktur und den Aufbau eines bestehendes Softwareprojekt möglichst rasch und einfach zu erfassen und darstellbar zu machen.

🎥 Neugierig? → Für eine kleine Demo unseres Vorgehens siehe auch das YouTube Video VisualizeIT: Gephi für die Visualisierung von Software-Architekturen – Hogarama Use Case

Zu Beginn haben wir uns die von Gephi bereitgestellten Algorithmen angesehen, die dazu dienen, die in den  Knoten und Kanten inhärente Information möglichst gut abzubilden.
Dabei sind die verschiedenen Algorithmen für unterschiedliche Anwendungsfälle geeignet:

Speziell für Knoten ist eine zusätzliche Formatierung hilfreich.

Gephi bietet eine große Anzahl an Filter, die sich in Kategorien unterteilen lassen und miteinander verknüpft werden können. Beim Verknüpfen ist je nach Anwendungsbeispiel zu beachten, dass die Art und Weise, wie sie ineinander verschachtelt werden, ausschlaggebend sein kann. 

Um die ausgewählten Filter anzuwenden, hat man die Wahl, ob das gefilterte Ergebnis mittels “Auswählen” hervorgehoben werden soll und der vorherige komplette Graph im Hintergrund angezeigt wird oder ob mittels “filtern” nur der neue Graph angezeigt werden soll, der entstanden ist. 

Des Weiteren besteht die Möglichkeit, den Graphen in einen neuen Arbeitsbereich zu exportieren.

• Topologien: Filtert die strukturellen Eigenschaften des Graphen, wie etwa Kanten, Knotengrade, vorhandene Schleifen und sogar den kürzesten Weg zwischen zwei Knoten.
• Operatoren: Logische Operatoren wie etwa Union, Intersection und Mask.
• Attribute: Filter zum Filtern von Attributen von Knoten und Kanten.

Der Hogarama Datensatz dient als Grundlage, wurde jedoch minimal angepasst um zwei Cyclen zu haben.

In diesem Beispiel soll nach Zyklen im Domain Modul gefiltert werden. Da es sich um einen gerichteten Graphen handelt, wird zuerst nach dem Modulnamen gefiltert und anschließend nach den Knotengraden sowohl was ausgehende als auch eingehende Kanten anbelangt, da man davon ausgehen kann, dass ein Knoten ohne jeweils einen Grad nicht teil eines Zykluses sein kann.

Da Gephi von Haus aus keinen Filter oder Algorithmus verwendet, der Zyklen (Ausnahme sind Schleifen) findet bzw. herausfiltert, wurde das Plugin Lineage verwendet.

Dieses Plugin berechnet nach Angabe von einem Knoten und erweitert den Datensatz (Knoten) um die Spalten “istHerkunkft”, “istVorfahre”, “istNachkomme”, “DistanzNachkomme” und “DistanzVorfahre” erweitert.

Nach der Plugin Installation erscheint unter Statistik ein Eintrag lineage wodurch ein Knoten (nur ID!) angegeben und die Berechnung gestartet werden kann.

Weiters erscheint in den Filtern unter Attribute/Partitionierung der Filter Lineage (Node) der die bereits erstellte Filterung als Subfilter entgegennimmt und schaut wie folgt aus:

Als Input für den Filter kann man 4 Kategorien insgesamt auswählen, in diesem Fall jedoch nur folgende relevant:

Und führt anschließend zum nachfolgenden Graphen:

Gephi kann etliche Graph-Formate importieren. Wir verwenden hauptsächlich DOT und CSV Formate.

Graphviz ist ein weit verbreitetes OpenSource Visualisieungswerkzeug für Graphen. Etliche Werkzeuge im Java-Umfeld können Graphviz-Dateien (DOT-Format) erzeugen. Diese können von Gephi importiert werden, wobei wir teilweise Probleme mit formatierten Knoten hatten. In diesen Fällen haben wir die Formatierungen in der DOT-Datei (einfaches Textformat) gelöscht und nur die Kanten importiert. Der rohe Graph kann dann mit Gephi gestaltet werden.

CSV (Comma-Separated-Values) Formate werden von allen Tabellenkalkulationsprogrammen unterstützt und können sehr einfach auch mit Skripts erzeugt werden. Als einfachste Möglichkeit kann auch nur eine Kanten-Datei importiert werden:

In diesem Beispiel werden Pfeile zwischen drei Knoten (Applikation, Server, Repository) gezeichnet. Wichtig ist, dass die Überschriften „Source“ und “Target” heißen.

Um zusätzliche Attribute zu Knoten hinzuzufügen, können Knotendateien definiert werden. Diese benötigen eine “Id” als Überschrift:

Damit kann dann z.B. so ein Graph formatiert werden:

Gephi bietet die Möglichkeit, Datenbanken wie MySQL, SQLite, PostgreSQL oder SQL Server zu importieren. Dabei muss die Datenbank über die folgenden Spalten: eine ID für die Nodes und Source und Target für die Edges verfügen. Sind die Spalten nicht in der Datenbank vorhanden, können diese mittels SELECT Abfragen aus der Datenbank extrahiert werden.

In dem folgenden Beispiel extrahiert die erste SELECT Abfrage die Spalten für die Nodes und die zweite die Spalten für die Edges.

Wie bei dem folgenden Graph zu sehen ist, bestehen die Nodes aus User (Rosa) und Games (Grün) und die Edges aus den gespielten Matches.

Schließlich noch ein paar Funktionen, die wir nicht gleich gesehen haben.

In der Übersicht gibt es unter der Grafik rechts ein kleines Icon (siehe roten Pfeil):

Damit kann man erweiterte Optionen für Beschriftungen von Kanten und Knoten öffnen. z.B. kann man die Größe der Beschriftung an die Knotengröße anpassen, wodurch die “wichtigen” Knoten größer beschriftet werden.

Außerdem kann man mittels “Konfigurieren”-Icon (unter rotem Pfeil)

die Quelle der Beschriftung (welche Spalte) auswählen. Z.B. “Id” statt dem Default “Label”, der oft nicht befüllt ist:

Hat man mal den Graphen in der Übersicht-Ansicht verloren, kann man ihn mittels “Auf Graph zentrieren” Icon (Lupe links unten neben dem Graphen) bildfüllend anzeigen

Beim Exportieren von Graphen unterscheidet sich oftmals die Export-Vorschau mit der Übersicht. Um dieses Problem zu beheben kann man in den meisten fällen die folgenden Einstellungen vornehmen:

Presets > Default Straight

Proportional Size> false

Edges > Rescale weight> true

Edges > color > original

Nodes Labels > Font (Optional)

Edges > Thickness (Optional)

Diese Einstellungen können in einem Preset gespeichert werden. Dadurch kann dieses Preset auch bei anderen Graphen verwendet werden. Je nach Graphen müssen weitere Einstellungen vorgenommen werden.

Beim Speichern als PNG

Unter Optionen… die Breite und Höhe anpassen:

Wird ein Graph gefiltert, so kann dieser in einen neuen Workspace exportiert werden.

Damit die Export Funktion verfügbar ist, muss vorher der Filter entweder mittels Select oder Filter Button angewendet werden