Project Glasswing

Metaanalyse zu Project Glasswing

Was ist Glasswing?

• Das neue, unveröffentlichte Claude Mythos Preview Modell zeigt laut Anthropic sehr fortgeschrittene Fähigkeiten zur Findung von Schwachstellen.
• Deshalb wurde das Modell von Anthropic als zu gefährlich befunden.
• Vorerst wird es nur 40 Unternehmen in einer geschlossenen Zusammenarbeit zugänglich gemacht: Project Glasswing.
• Unter den Unternehmen sind AWS, Microsoft, die Linux Foundation und Cloudflare.

Was sagt Anthropic?

Welche Rückläufe gibt es nach der Veröffentlichung?

Überwiegend Positiv

Firefox

Firefox Entwickler berichten, dass sie im 150 Release, 271 bugs durch Mythos Preview beheben konnten. Laut ihrem Artikel war es ihnen möglich durch das neue Modell und ein neues Harnessing ihre Quote an gepatchten Bugs signifikant steigern.

XBOW

Die IT-Security Firma XBOW hat Mythos ebenfalls evaluiert und sieht das Modell als signifikanten Schritt nach vorne. XBOW sieht die Stärken des Modells in der Analyse von Source Code und beim Reverse Engineering, wobei das Modell auffällig gut in der Lage war False Positives zu identifizieren. XBOW sieht aber Limitierungen beim on-site Pentesting. Mythos allein reicht laut XBOW nicht aus um Sicherheitsdefizite in einer Softwareinfrastruktur zu identifizieren. Hierbei gilt allerdings zu beachten, dass XBOW als Security Dienstleister auch Interesse daran hat weiterhin nachgefragt zu bleiben.

Cloudflare

Cloudflare erklärt in einem ausführlichen Artikel, dass Mythos für sie Stärken in der Code Analyse gezeigt hat. Am beeindruckendsten waren dabei die Fähigkeiten zur Verkettung mehrerer Exploits und die Präzision beim Validieren von Schwachstellen. Besonders bemerkenswert ist hierbei der von Cloudflare verwendete Harness (Geschirr oder Gurt). Einige der Agents laufen dabei in vielen parallelen Instanzen, die meisten Agents sind sogar in der Lage selbst weitere Agents zu starten.

Calif

Sicherheitsforscher der Firma Calif haben eine speicherbasierten Exploit für Apples M5 Chip gefunden. Die Implementation des Exploits enthält neben 2 Schwachstellen zahlreiche weitere Techniken und erlaubt einem Nutzer ohne Privilegien Root Rechte zu erlangen. Mythos Preview half dabei bei der Identifikation der Bugs und der Exploit-Entwicklung.

AISI

Das renommierte AI Security Institute (Department for Science, Innovation & Technology UK) hat bei seiner Evaluation in dem Modell einen sehr klaren Entwicklungsschritt erkannt. Bei Capture-The-Flag aufgaben zeigte Mythos durchweg sehr gute Leistungen und brillierte besonders bei hohen Schwierigkeitsgraden. Außerdem ist Mythos Preview das erste Modell, welches “The Last Ones” erfolgreich abschließen konnte. Dabei handelt es sich um die Simulation eines Angriffs auf ein Unternehmensnetzwerk mit 32 Schritten. Bei einem komplexeren Parkour scheiterte Mythos Preview allerdings. Das AISI schließt daraus, dass Mythos Preview in der Lage ist Systeme mit schwachen/schlechten Security-Standarts kompromittieren kann.

Kritisch

FlyingPenguin

Der Information Security Experte Davi Ottenheimer äußert sich in seinem Blog relativ kritisch zu dem Bericht. Seiner Meinung nach sind die Zahlen extrem aufgeblasen, so basieren beispielsweise die allermeisten der 250 gennanten Firefox Exploits auf zwei Bugs. Er findet die genutzen Benchmarks problematisch und zieht außerdem den Vergleich zu Fuzzing, da sehr viele Agents gleichzeitig den Code nach Lücken durchforsten. Hierbei wundert sich Ottenheimer warum keine Vergleich mit potentent Fuzzingsystemen gezogen wird. Er vermutet hinter der Kommunikation um Mythos Preview sehr viel Marketing.

AISLE

AISLE ein renommiertes Unternehmen, welches KI und IT-Security verbindet hat die Code-Abschnitte der von Anthropic genannten Schwachstellen isoliert und acht verschiedenen, kleinen Modellen zugeführt. Das Ergebnis: auch kleinere Modelle waren in der Lage die Schwachstellen zu identifizieren. Bei der FreeBSD Schwachstelle gelang das sogar jedem Modell. Natürlich wurde die Modelle hier schon auf die richtige Stelle im Code verwiesen, aber das Unterhnehmen wollte damit zeigen, dass Anthropic ihr Modell doch etwas aufgeblasen hatte. AISLE bestreitet aber nicht, dass Mythos Preview ein sehr fähiges neues Modell ist.

cURL

Der curl Entwickler Daniel Sternberg hat seine Codebasis durch einen Dritten mit Mythos-Zugang analysieren lassen. Der resultierende Report enthielt fünf Schwachstellen, drei davon waren False Positives und eine weitere “nur” ein Bug. Damit blieb genau eine Schwachstelle, welche eine niedrige Kritikalität hat. Dabei gilt zu beachten, dass der Code von curl bereits sehr gut abgehangen ist. Die Entwickler nutzen statische Analyse, Fuzzer und KI-unterstützte Tools um Schwachstellen zu vermeiden. Sternberg hält die Art und Weise wie Mythos veröffentlicht wurde für einen großen Marketingstunt. Er findet KI zur Codeanalyse zwar sehr nützlich, aber seinen Beobachtungen nach werden nur bekannte Schwachstellen-Arten entdeckt.

Harnessing?

Unklar ist wieviel Unterschied die neuen Harnessing Infrastrukturen bei für die Effektivität der Modelle gebracht haben.

Was sagt Anthropic selbst?

In einem Blogpost vom 22 Mai gibt Anthropic ein Update zu Glasswing. Der Inhalt lässt sich in drei Punkten zusammenfassen:

1. Die Glasswing Partnerunternehmen sollen insgesamt über 10 Tausend hohe und kritische Schwachstellen gefunden haben. Außerdem erwähnt Anthropic die positiven Testberichte des Modells von AISI, Mozilla und XBOW.
2. In OpenSource Repositories sollen 6.200 mögliche Schwachstellen mit dem Schweregrad hoch und kritisch gefunden worden sein. Bisherige Auswertungen deuten an, dass 90.6% tatsächliche Schwachstellen sind und dass 62.4% tatsächlich dem Schweregrad hoch und kritisch entsprechen. Von ca. 1.451 Meldungen, die tatsächlich bei den betroffenen Maintainern angekommen sind, wurden bisher nur 97 gepatcht.
3. Anthropic führt dann noch aus welche Maßnahmen auch ihrer Sicht notwendig sind um auf diese neue Bedrohungslage zu reagieren.

Meine Einschätzung

Die Große Katastrophe dürfte ausbleiben:

• Natürlich werden durch leistungsstärkere Modelle und bessere Harnessing-Infrastruktur erstmal mehr Schwachstellen gefunden, auch einige Bugs die schon seit Jahren im Code existierten.
• Dieses Meer an Lücken sollte jedoch irgendwann erschöpft sein und neuer Code kann vor der Inbetriebnahme mit ebendiesen Systemen untersucht werden. Demnach ähnelt die Einführung eines kompetenteren Modells der Einführung eines neuen, mächtigeren Fuzzing-Tools.
• Bisher waren die Modelle nur in der Lage bekannte Schwachstellen-Gattungen zu reproduzieren, ob KI irgendwann einen völlig neuen Schwachstellentyp entdeckt ist unklar.

Mythos Preview ist ein sehr potentes Modell, dass besonders bei der Schwachstellensuche in Quellcode glänzen kann. Obwohl die Aufregung rund um Project Glasswing meiner Meinung nach etwas übertrieben ist, werden KI-gestützte Systeme die Möglichkeiten zur Identifikation von Sicherheitslücken stark verändern.