Folgen des KI-Gesetzes der EU: Herausforderungen für die Softwareentwicklung

 

08.04.2025

 

Guy Levi, Vice President & Leading Architect, CTO Office bei JFrog

Kommentar

In der heutigen, sich rasant entwickelnden Softwarelandschaft stellen Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) zunehmend bedeutende Bedrohungsvektoren dar. Weltweit registrieren Organisationen eine Zunahme gezielter Angriffe auf Softwareentwickler, Datenwissenschaftler und die Infrastruktur, die den sicheren Einsatz KI-gestützter Software-Lieferketten ermöglichen soll. Berichte über Angriffe auf Entwicklungssprachen, Infrastrukturen, Manipulationen von AI-Engines zur Offenlegung sensibler Daten und Bedrohungen der allgemeinen Softwareintegrität nehmen immer mehr zu. In diesem Umfeld müssen sich Unternehmen gegen KI-Software-Lieferkettenrisiken in drei Bereichen verteidigen: Regulierung, Qualität und Sicherheit.

1. Regulierung

Das Inkrafttreten des EU AI Acts und die Erweiterung bestehender Vorschriften, wie der White House Executive Order, läuten eine neue Ära der Rechenschaftspflicht für Unternehmen ein, die KI für ihre Geschäftsanforderungen und ihren Wettbewerbsvorteil nutzen wollen. Diese neuen Gesetze und Vorschriften enthalten klare Vorgaben für zulässige und verbotene Handlungen innerhalb von Unternehmenssoftware-Frameworks, die bei Nichteinhaltung mit erheblichen Strafen geahndet werden.

Da KI und ML eine neue Angriffsfläche bieten, müssen sich Unternehmen jetzt auf diese regulatorischen Änderungen vorbereiten, wenn sie auf deren Inkrafttreten zwischen 2025 und 2027 vorbereitet sein wollen. Es ist nicht ungewöhnlich, dass selbst die etabliertesten Unternehmen über eine jahrzehntealte, selbst entwickelte Infrastruktur verfügen, die von Entwicklern unter Verwendung verschiedener Programmiersprachen und -prinzipien aufgebaut wurde. Dies führt zu einer Komplexität für Unternehmen, die ihre Systeme und Infrastruktur weiterentwickeln und gleichzeitig neue Vorschriften einhalten wollen. Unternehmen gehen mit Vorsicht vor, da sie in der richtigen Weise skalieren wollen, um ungeplante Betriebsunterbrechungen und Spitzen bei den IT-Betriebskosten zu vermeiden.

2. Qualität

Die Komplexität der Softwareentwicklung zu bewältigen, ist von Natur aus eine Herausforderung, und die Integration von KI verkompliziert die Landschaft noch weiter. Wie ein führender Branchenvertreter hervorhob, ist es mit Schwierigkeiten verbunden, deterministische Ergebnisse aus statistischen Modellen zu erzielen – ein Kernstück von KI und ML. Da KI auf riesigen Datensätzen beruht, müssen sich Entwickler mit den Feinheiten der statistischen Variabilität auseinandersetzen, von Datendrift bis zu Verzerrungen.

Das Potenzial für chaotische und unzuverlässige Ergebnisse erfordert strenge Verfahren zur Datenorganisation und -verwaltung. Entwickler müssen sorgfältig vorgehen, um sicherzustellen, dass die Eingaben in KI-Modellen sauber, konsistent und repräsentativ sind. Die Qualitätssicherung bei der KI-zentrierten Softwareentwicklung ist nicht nur eine technische Herausforderung, sondern erfordert auch einen kulturellen Wandel hin zur Priorisierung von Exzellenz in jeder Phase des Entwicklungslebenszyklus.

3. Sicherheit

KI verbessert nicht nur die Fähigkeiten, sondern führt auch zu neuen Schwachstellen, die böswillige Akteure ausnutzen können. Python, die Sprache der Wahl für viele KI-Entwickler aufgrund ihrer zugänglichen Syntax und robusten Bibliotheken für Datenvisualisierung und -analyse, ist ein Beispiel für dieses zweischneidige Schwert. Während ihre Grundlagen das fortschrittliche KI-Software-Ökosystem unterstützen, birgt ihre weitverbreitete Nutzung auch kritische Sicherheitsrisiken, insbesondere im Hinblick auf bösartige ML-Modelle.

Jüngste Entdeckungen des JFrog Security Research-Teams veranschaulichen die Schwere dieser Bedrohungen: Ein versehentlich durchgesickertes GitHub-Token hätte bei Missbrauch böswilligen Zugriff auf wichtige Repositorys ermöglichen können, darunter den Python Package Index (PyPI) und die Python Software Foundation (PSF). Böswillige Modelle hätten das in Python verwendete Modellobjektformat ausnutzen können, um ohne Wissen des Benutzers bösartigen Code auf dem Computer des Benutzers auszuführen. Im schlimmsten Fall hätte diese Sicherheitslücke die Integrität kritischer Systeme in Banken, Behörden, Cloud- und E-Commerce-Plattformen gefährdet.

Die potenziellen Folgen solcher Sicherheitslücken unterstreichen die dringende Notwendigkeit verbesserter Sicherheitsmaßnahmen innerhalb der KI-Software-Lieferkette. Unternehmen müssen Abwehrstrategien priorisieren, um sich vor diesen neu auftretenden Bedrohungen zu schützen, da die Folgen von Untätigkeit nicht nur ihren Betrieb, sondern das gesamte digitale Ökosystem gefährden könnten.

Fazit

Da KI und Softwareentwicklung immer komplexer werden, steigen auch die Sicherheitsrisiken in diesen Bereichen. Ein proaktiver Ansatz, der die Einhaltung von Vorschriften, höchste Qualitätsstandards und robuste Sicherheitsmaßnahmen umfasst, ist für Unternehmen entscheidend, um den sich wandelnden Bedrohungen erfolgreich zu begegnen. Jetzt ist der Zeitpunkt für entschlossenes Handeln: Die Sicherstellung von Compliance, die Priorisierung von Exzellenz und der Aufbau verstärkter Abwehrmechanismen sind nicht nur strategische Vorteile, sondern unverzichtbare Maßnahmen für das Überleben und die Zukunftsfähigkeit in einer zunehmend vernetzten Welt.


 

Folgen des KI-Gesetzes der EU: Herausforderungen für die Softwareentwicklung

 

08.04.2025

 

Guy Levi, Vice President & Leading Architect, CTO Office bei JFrog

Kommentar

In der heutigen, sich rasant entwickelnden Softwarelandschaft stellen Künstliche Intelligenz (KI) und Maschinelles Lernen (ML) zunehmend bedeutende Bedrohungsvektoren dar. Weltweit registrieren Organisationen eine Zunahme gezielter Angriffe auf Softwareentwickler, Datenwissenschaftler und die Infrastruktur, die den sicheren Einsatz KI-gestützter Software-Lieferketten ermöglichen soll. Berichte über Angriffe auf Entwicklungssprachen, Infrastrukturen, Manipulationen von AI-Engines zur Offenlegung sensibler Daten und Bedrohungen der allgemeinen Softwareintegrität nehmen immer mehr zu. In diesem Umfeld müssen sich Unternehmen gegen KI-Software-Lieferkettenrisiken in drei Bereichen verteidigen: Regulierung, Qualität und Sicherheit.

1. Regulierung

Das Inkrafttreten des EU AI Acts und die Erweiterung bestehender Vorschriften, wie der White House Executive Order, läuten eine neue Ära der Rechenschaftspflicht für Unternehmen ein, die KI für ihre Geschäftsanforderungen und ihren Wettbewerbsvorteil nutzen wollen. Diese neuen Gesetze und Vorschriften enthalten klare Vorgaben für zulässige und verbotene Handlungen innerhalb von Unternehmenssoftware-Frameworks, die bei Nichteinhaltung mit erheblichen Strafen geahndet werden.

Da KI und ML eine neue Angriffsfläche bieten, müssen sich Unternehmen jetzt auf diese regulatorischen Änderungen vorbereiten, wenn sie auf deren Inkrafttreten zwischen 2025 und 2027 vorbereitet sein wollen. Es ist nicht ungewöhnlich, dass selbst die etabliertesten Unternehmen über eine jahrzehntealte, selbst entwickelte Infrastruktur verfügen, die von Entwicklern unter Verwendung verschiedener Programmiersprachen und -prinzipien aufgebaut wurde. Dies führt zu einer Komplexität für Unternehmen, die ihre Systeme und Infrastruktur weiterentwickeln und gleichzeitig neue Vorschriften einhalten wollen. Unternehmen gehen mit Vorsicht vor, da sie in der richtigen Weise skalieren wollen, um ungeplante Betriebsunterbrechungen und Spitzen bei den IT-Betriebskosten zu vermeiden.

2. Qualität

Die Komplexität der Softwareentwicklung zu bewältigen, ist von Natur aus eine Herausforderung, und die Integration von KI verkompliziert die Landschaft noch weiter. Wie ein führender Branchenvertreter hervorhob, ist es mit Schwierigkeiten verbunden, deterministische Ergebnisse aus statistischen Modellen zu erzielen – ein Kernstück von KI und ML. Da KI auf riesigen Datensätzen beruht, müssen sich Entwickler mit den Feinheiten der statistischen Variabilität auseinandersetzen, von Datendrift bis zu Verzerrungen.

Das Potenzial für chaotische und unzuverlässige Ergebnisse erfordert strenge Verfahren zur Datenorganisation und -verwaltung. Entwickler müssen sorgfältig vorgehen, um sicherzustellen, dass die Eingaben in KI-Modellen sauber, konsistent und repräsentativ sind. Die Qualitätssicherung bei der KI-zentrierten Softwareentwicklung ist nicht nur eine technische Herausforderung, sondern erfordert auch einen kulturellen Wandel hin zur Priorisierung von Exzellenz in jeder Phase des Entwicklungslebenszyklus.

3. Sicherheit

KI verbessert nicht nur die Fähigkeiten, sondern führt auch zu neuen Schwachstellen, die böswillige Akteure ausnutzen können. Python, die Sprache der Wahl für viele KI-Entwickler aufgrund ihrer zugänglichen Syntax und robusten Bibliotheken für Datenvisualisierung und -analyse, ist ein Beispiel für dieses zweischneidige Schwert. Während ihre Grundlagen das fortschrittliche KI-Software-Ökosystem unterstützen, birgt ihre weitverbreitete Nutzung auch kritische Sicherheitsrisiken, insbesondere im Hinblick auf bösartige ML-Modelle.

Jüngste Entdeckungen des JFrog Security Research-Teams veranschaulichen die Schwere dieser Bedrohungen: Ein versehentlich durchgesickertes GitHub-Token hätte bei Missbrauch böswilligen Zugriff auf wichtige Repositorys ermöglichen können, darunter den Python Package Index (PyPI) und die Python Software Foundation (PSF). Böswillige Modelle hätten das in Python verwendete Modellobjektformat ausnutzen können, um ohne Wissen des Benutzers bösartigen Code auf dem Computer des Benutzers auszuführen. Im schlimmsten Fall hätte diese Sicherheitslücke die Integrität kritischer Systeme in Banken, Behörden, Cloud- und E-Commerce-Plattformen gefährdet.

Die potenziellen Folgen solcher Sicherheitslücken unterstreichen die dringende Notwendigkeit verbesserter Sicherheitsmaßnahmen innerhalb der KI-Software-Lieferkette. Unternehmen müssen Abwehrstrategien priorisieren, um sich vor diesen neu auftretenden Bedrohungen zu schützen, da die Folgen von Untätigkeit nicht nur ihren Betrieb, sondern das gesamte digitale Ökosystem gefährden könnten.

Fazit

Da KI und Softwareentwicklung immer komplexer werden, steigen auch die Sicherheitsrisiken in diesen Bereichen. Ein proaktiver Ansatz, der die Einhaltung von Vorschriften, höchste Qualitätsstandards und robuste Sicherheitsmaßnahmen umfasst, ist für Unternehmen entscheidend, um den sich wandelnden Bedrohungen erfolgreich zu begegnen. Jetzt ist der Zeitpunkt für entschlossenes Handeln: Die Sicherstellung von Compliance, die Priorisierung von Exzellenz und der Aufbau verstärkter Abwehrmechanismen sind nicht nur strategische Vorteile, sondern unverzichtbare Maßnahmen für das Überleben und die Zukunftsfähigkeit in einer zunehmend vernetzten Welt.