Warum Code-Verständnis wichtig ist – KI schreibt Code, versteht ihn aber nicht

Alles, was wir hier schreiben, ist im Kontext von Enterprise Software Entwicklung zu verstehen. Andere Rahmen, wie z.B. private Projekte, kleine Vereine oder Spieleentwicklung, haben andere Voraussetzungen und damit eventuell andere Schlussfolgerungen.

Kurz, ein paar Eckpunkte von Enterprise Systemen. Wir arbeiten mit Millionen Zeilen Code, tausenden Anwendern, die ihre Arbeitszeit großteils mit den Systemen verbringen. Es geht um kritische Daten und Kernprozesse von großen Unternehmen. Systeme werden jahrzehntelang weiterentwickelt und beinhalten hochkomplexe, historisch gewachsene Regelwerke. Datensicherheit ist nicht optional.

Generative KI beschleunigt das Schreiben von Code dramatisch. Doch Geschwindigkeit ersetzt nicht das Verständnis des Problems. Im Enterprise-Umfeld entscheidet unser Systemverständnis über Korrektheit, Sicherheit und Wartbarkeit.

KI kann Code erzeugen, aber sie übernimmt keine Verantwortung. Entwickler müssen beurteilen können, ob der Code korrekt, sicher, und wartbar ist und ob er zur konkreten Anforderung sowie zum Gesamtmodell des Systems passt. Doch warum ist das so wichtig – wenn man bemerkt, dass eine Anforderung nicht richtig umgesetzt wurde, dann kann man doch auch einfach wieder die KI anwerfen und sie anweisen, das Problem zu lösen?

Dieses Vorgehen funktioniert wahrscheinlich sogar ganz gut, solange die Software nicht live gegangen ist oder Fehler in der Software generell geringe oder sogar vielleicht gar keine Auswirkungen auf die Welt um uns herum haben. Das ist im Enterprise Umfeld aber nahezu nie der Fall. Hier haben Fehler oftmals sehr ernste Auswirkungen auf die echte Welt – ein Kredit wird nicht genehmigt, eine Kur nicht bewilligt oder das Arbeitslosengeld wird falsch berechnet. Für all diese Fehler muss jemand Verantwortung (siehe auch Kapitel Verantwortung bei Gepardec) übernehmen, denn die KI kann das nicht tun.

Was also bedeutet Verantwortung für uns in der Softwareentwicklung?

Code schreiben heißt nicht nur Befehle an Maschinen verfassen. Es bedeutet vor allem, ein mentales Modell der Problemdomäne aufzubauen. Dieses Modell entsteht iterativ – durch Fragen, Abgrenzungen und Entscheidungen. Das ist ein Prozess, für den Menschen von Natur aus Zeit benötigen. Traditionell wächst dieses Verständnis im Laufe der Zeit bei der Implementierung. Doch wenn Code in großen Mengen generiert wird, fehlen uns im ersten Moment sowohl diese für uns so wichtigen Feedbackschleifen als auch die Zeit, neues Wissen zu verarbeiten und zu verinnerlichen.

Man nennt dieses Problem „Comprehension Debt“ – wenn das Problemverständnis nicht im selben Maß wie die Codebasis wächst, dann häufen sich Fehlentscheidungen, es entstehen technische und vielleicht sogar fachliche Schulden.

Neuere Studien zeigen jedoch: Es kommt darauf an, WIE wir KI nutzen. Wer KI unhinterfragt Code generieren lässt, verliert signifikante Teile des Systemverständnisses. Entwickler hingegen, die KI zur konzeptionellen Befragung (Exploration, Trade-off-Analysen, Architekturdiskussionen) nutzen, halten ihr Systemverständnis auch über längere Zeit stabil hoch.

Darüber hinaus gibt es aber noch weitere Herausforderungen, die entstehen, wenn man KIs großflächig einsetzt:

• Spec Drift – Aktuelle Modelle priorisieren Muster aus Trainingsdaten über Spezifikationen. Abweichungen werden – da oft sehr subtil – erst spät sichtbar.
• Test-Maskierung – Agenten passen manchmal Tests an, anstatt Fehler vollständig zu beheben.
• Das „Yes-Man-Problem“ (Sycophancy) – KIs neigen aktuell noch dazu, den Vorgaben bedingungslos zuzustimmen, selbst wenn diese fehlerhaft, widersprüchlich oder unvollständig sind.

Enterprise-Software lebt Jahre, manchmal sogar Jahrzehnte. Die Herausforderung ist nicht, Features schnell zu erzeugen, sondern Systeme über lange Zeit zu warten und weiterzuentwickeln.

Zumindest die Wartung passiert dabei aber aktuell nach wie vor vorwiegend durch Menschen. Empirische Studien zeigen, dass ca. 80 % aller Wartungsarbeiten an KI-generiertem Code weiterhin von Menschen durchgeführt werden müssen (Quelle: To What Extent Does Agent-generated Code Require Maintenance? An Empirical Study) – insbesondere die komplexe Fehlersuche (Bug Fixing) bleibt fast vollständig an uns hängen.

Was aber bleibt, wenn uns die KI auch das abnimmt und in Zukunft einfach selbst alle Fehler behebt und notwendige Anpassungen am System automatisiert vornimmt – ist dann alles gut?

Die Antwort ist ein klares Jein.

Selbst wenn wir uns nicht spätestens dann die Frage stellen sollten, welches Unternehmen die Gewährleistungspflichten übernimmt, dann sollten wir uns zumindest die Frage stellen:

„Wer reagiert bei Incidents, wenn kein Mensch mehr das System versteht?“

KI beschleunigt das Codieren. In der Softwareentwicklung ging es aber in den letzten Jahrzehnten nie um die Tippgeschwindigkeit des Menschen vor dem Bildschirm. Unsere Kernkompetenz als Softwareentwickler:innen war immer schon und bleibt wohl auch in Zukunft das Erreichen von Problemverständnis. Je mehr Code generiert wird, desto wichtiger wird es, diesen Code schnell verstehen und bewerten zu können – nur so können wir Verantwortung, Sicherheit und Wartbarkeit im Enterprise-Umfeld sicherstellen.

Verantwortung ist uns wichtig. Hier ein paar Sätze, was wir bei Gepardec unter Verantwortung verstehen:

Wir handeln in dem Bewusstsein, dass unsere Arbeit direkte Auswirkungen auf Kunden und Kolleg:innen hat und scheuen uns nicht davor, die Konsequenzen unserer Handlungen zu übernehmen. Ein wesentlicher Faktor, damit wir Verantwortung leben können, ist eine positive Fehlerkultur: Wir stehen zu unseren Fehlern, sprechen sie offen an und übernehmen die Initiative bei der Behebung ohne Schuldzuweisungen oder „wegducken“. Gepaart mit Vertrauen ist es möglich und auch erstrebenswert, Verantwortung zu übernehmen.

Verantwortung zeigt sich dabei nicht nur bei großen Aufgaben, sondern auch im täglichen Engagement, die kleinen Dinge wahrzunehmen und zu verbessern, wenn erforderlich.