Hey Fam,

Kleines Public-Service-Announcement: Wer in Claude oder ChatGPT den Share-Button benutzt, erstellt dabei keine private Seite, sondern eine öffentlich indexierte Seite. Das bedeutet, dass man Chats und Apps einfach auf Google finden kann. Betroffene Inhalte reichen laut Berichten von API-Schlüsseln und Unternehmensprojektplänen bis zu medizinischen Daten aus klinischen Studien. Vielleicht also doch einfach am eigenen Bildschirm zeigen!

Peanuts für heute:

Es passiert nicht häufig, dass wir zwei Wochen hintereinander über dieselbe Geschichte schreiben. Aber letzte Woche fehlte unserer Geschichte eine ziemlich entscheidende Information.

Hugging Face war von einem autonomen KI-Agentensystem angegriffen worden. Wir wussten, wie der Angriff ungefähr abgelaufen sein soll und dass ausgerechnet ein chinesisches Open-Source-Modell bei der Aufklärung geholfen hatte. Die fehlende Information war, wer der Angreifer war.

Inzwischen kennen wir die Antwort: Der Angreifer war OpenAI.

OpenAI hatte intern seine neuesten Modelle auf eine Benchmark namens ExploitGym getestet. Man kann sich das wie eine Art Hacker-Prüfung für KI vorstellen. Das Modell erhält reale Sicherheitslücken und muss daraus selbstständig einen funktionierenden Angriff entwickeln, allerdings in einer abgeschotteten Testumgebung (einer sogenannten Sandbox).

Das Agentensystem ist darauf trainiert besonders hartnäckig an einer Lösung für ein Problem zu arbeiten. Und auf eine Aufgabe in dieser Benchmark konnte die KI scheinbar keine Lösung finden. Stattdessen fand es aber eine bisher unbekannte Schwachstelle in OpenAIs eigener Testinfrastruktur, bewegte sich durch mehrere interne Systeme und gelangte schließlich ins offene Internet. Dort kam es zu dem Schluss, dass Hugging Face Modelle, Datensätze oder Lösungen für den Benchmark gespeichert haben könnte.

Also suchte das System selbstständig nach einem Weg in die Infrastruktur von Hugging Face. Es kombinierte gestohlene Zugangsdaten mit weiteren Sicherheitslücken und griff auf interne Informationen zu, mit denen es bei der Prüfung besser abschneiden konnte. Niemand hatte dem System befohlen, Hugging Face anzugreifen. Der Angriff war ein selbst gefundener Zwischenschritt auf dem Weg zu einem vorgegebenen Ziel. Nicht ganz verstanden? Kein Problem! Hier ist ein kleiner Comic, der das nochmal erklärt.

Die bislang veröffentlichten Details sind nur eine vorläufige Darstellung. OpenAI will nach Abschluss seiner Untersuchung einen ausführlichen Bericht veröffentlichen.

Dieser Vorfall kommt zu einem sehr spannenden Zeitpunkt. In Washington wird gerade darüber diskutiert, chinesische OpenSource Modelle durch Sanktionen und andere Beschränkungen aus dem amerikanischen Markt zu drängen. Die Sorge der Trump-Regierung besteht darin, dass China durch offene Modelle eine neue technologische Abhängigkeit schafft und beim Training der Modelle amerikanisches geistiges Eigentum verwendet (letzteres ist definitiv der Fall).

Solche Sanktionen würden das Problem vermutlich kaum lösen. Ein offenes Modell ist nach seiner Veröffentlichung ohnehin weltweit verfügbar. Eine amerikanische Beschränkung würde deshalb vor allem amerikanische Unternehmen, Entwickler und Sicherheitsforscher davon abhalten, es einzusetzen. Angreifer außerhalb der USA wären nicht unbedingt betroffen. In der letzten Woche hatten wir beschrieben, wie ein chinesisches Open-Source-Modell (GLM 5.2) für Hugging Face die Rettung war.

Ende letzter Woche hat sich in den USA eine ungewöhnlich breite Koalition für offene Modelle gebildet. Die Forderung ist, dass die amerikanische Regierung leistungsfähige Open-Weight-Modelle nicht vorschnell beschränken sollte. Unterschrieben haben wirklich alle, die in Sachen KI Rang und Namen haben: Nvidia, Microsoft, Meta, Google, Hugging Face, sogar OpenAI hat unterschrieben (das Bild in diesem Artikel zeigt die wichtigsten Unterstützer). Eigentlich fehlen nur zwei Unternehmen, und da die Liste alphabetisch sortiert ist, fällt die Lücke besonders stark auf: Anthropic und Amazon.

Letzte Woche haben wir den Vorteil offener Modelle vor allem defensiv beschrieben. Unternehmensdaten müssen nicht zwangsläufig an die API eines amerikanischen Modellanbieters geschickt werden.

Der positive Blick ist größer. Europas wertvollstes Wissen liegt in den Produktionsprozessen seiner Industrieunternehmen, in Maschinen- und Wartungsdaten, in wissenschaftlicher Expertise, in Kundenbeziehungen und in jahrzehntelang dokumentierten Sonderfällen. Offene Modelle können dorthin gebracht werden, wo das Wissen bereits liegt. Ein deutsches Unternehmen kann ein Open-Source-Modell in einer europäischen Cloud oder einer privaten Infrastruktur betreiben. Es kann festlegen, welche Daten der Agent sieht, welche Werkzeuge er verwenden darf, und muss nicht befürchten, dass die Daten für Trainingszwecke genutzt werden.

Wir erleben diese Verschiebung gerade selbst in unserer Arbeit mit mittelständischen Unternehmen. Wenn wir eine konkrete Lösung für unsere Kunden bauen ist die größte Frage nur selten, welches Modell bei einem allgemeinen Benchmark einige Prozentpunkte besser abschneidet.

Die großen Fragen drehen sich um interne Daten, die Zugriffsrechte, den Datenschutz und die Frage, woran man erkennt, ob ein Ergebnis tatsächlich richtig ist. Deshalb gehören zu unserem Tech-Stack vor allem leistungsfähige Open-Weight-Modelle, die in Europa betrieben werden können.

Wenn ihr mehr über unsere Arbeit mit Unternehmen erfahren oder mit uns über ein konkretes Projekt sprechen möchtet, findet ihr unter mittelstand.aipeanuts.com weitere Informationen und Kontaktmöglichkeiten.

Quellen: OpenAI Statement zum Hack, Vorläufige Analyse.

Jack Dorsey, Twitter-Gründer und CEO von Block (dem Unternehmen hinter Square und Cash App), baut gerade eine Alternative zu Slack und GitHub. Buzz ist ein Open-Source-Workspace (wäre ja auch zu ironisch, wenn wir ausgerechnet diese Woche kein OpenSource-Projekt vorstellen), der Mitarbeitende, KI-Agenten, Chats und Code unter einem System zusammenführt. Die Idee dahinter: Wer KI wirklich in die Arbeitsabläufe integrieren will, braucht eine Infrastruktur, die Menschen und Agenten gleich behandelt, anstatt KI als Plugin oben draufzukleben. Wir hatten noch nicht genug Gelgenheit das Projekt ausreichend zu testen, aber wir sind sehr angetan. Link

Unsere Gemischte Tüte ist immer vollgepackt - in dieser Sektion kuratieren wir die aus unserer Sicht wichtigsten Links:

Anthropic zahlt 1,5 Milliarden Dollar im größten US-Urheberrechtsvergleich. Ein US-Bundesrichter hat den Vergleich endgültig genehmigt, bei dem Anthropic rund eine halbe Million urheberrechtlich geschützter Werke illegal für das Training ihrer Modelle genutzt hat. Die Urheber werden nun jeweils mit 3.000 Dollar entschädigt. Wichtig ist dabei, dass nicht das Training mit den Werken illegal ist; das fällt laut dem Richter unter Fair Use. Illegal war das Herunterladen und Speichern der Werke auf den Servern von Anthropic. Link

Black Forest Labs veröffentlicht FLUX 3. Das deutsche KI-Lab vereint Bild-, Video- und Audiogenerierung in einer gemeinsamen Architektur. FLUX 3 Video ist bereits im Early Access verfügbar, und einige der Beispiele sind wirklich sehr beeindruckend. Es ist richtig toll zu sehen, dass eine deutsche Firma zumindest in einem Teilbereich der KI-Industrie oben mitspielen kann.Link

Anthropic stellt neues Modell vor: Claude Opus 5. Das neue Modell wird als Default auf Claude Max eingeführt und soll die Qualität von Claude Fable 5 zu halbem Preis liefern. Erste unabhängige Nutzende berichten allerdings, dass Opus 5 in der Praxis deutlich hinter Fable 5 zurückbleibt und in bestehenden Workflows Anweisungen ignoriert oder Aufgaben vorzeitig abbricht. Link

Du hast Fragen, Anmerkungen oder brauchst unsere Hilfe?
Schreib uns einfach an:
[email protected]