APA-IMAGES/CHROMORANGE/MICHAEL BIHLMAYER
Punkt eins
Künstliche Intelligenz außer Kontrolle?
Wo die Entwicklung von KI-Systemen steht, welche Risiken sich abzeichnen und welche Regulierung geraucht wird. Gäste: Univ.-Prof. Dr. René Mayrhofer, Vorstand des Instituts für Netzwerke und Sicherheit der Universität Linz & Dr.-Ing. B.Sc. M.Sc. Phillip Rieger, Assistenzprofessor für Secure AI Systems, Institute of Information Security, Technische Universität Graz. Moderation: Marlene Nowotny. Anrufe 0800 22 69 79 | punkteins(at)orf.at
17. September 2026, 13:00
Wer in der "Künstlichen Intelligenz" Rang und Namen hat, versammelte sich am Dienstag dieser Woche bei einer Konferenz in San Francisco. Das Software-Unternehmen "Salesforce" lud zu diesem Treffen, spezialisiert auf Kundenbeziehungsmanagement, und zwar mit Hilfe von Cloud-Computing und KI-Agenten. Bei einer der öffentlichen Diskussionen ging es besonders hitzig zu: Die Chefs der derzeit wohl wichtigsten KI-Firmen in den USA - OpenAI, Anthropic und Nvidia - sollten dort eigentlich über Software und KI-Modelle für den Vertrieb sprechen. Stattdessen stritten sie über die Frage, ob die KI die Menschheit nun wirklich in wenigen Jahren werde auslöschen können.
Diese These ist nicht neu, doch ein ehemaliger Mitarbeiter der Firma Anthropic hat sie vor einigen Tagen per Social Media konkret gemacht. Jacob Coxon, Experte für das Training von großen KI-Modellen, arbeitete zunächst bei OpenAI, dann bei Anthropic, nun reichte er seine Kündigung ein und erklärte: "Keines der beiden Unternehmen handle verantwortungsvoll". Beide Unternehmen, so Coxon, arbeiteten auf eine sogenannte Superintelligenz hin, die als oberste Maxime die Selbstverbesserung, nicht das Wohl des Menschen hätten. Und er ergänzte, dass die Menschen, die an diesen Systemen arbeiten, davon ausgingen, die KI wäre noch vor Ende des Jahrzehnts dazu in der Lage, die Menschheit auszulöschen.
Gegenüber dem US-amerikanischen Nachrichtensender CNN spezifizierte er die Bedrohungsszenarien: Schreite die Entwicklung der KI-Systeme im bisherigen Tempo voran, sei von weiteren selbstständig initiierten und durchgeführten Angriffen der KI-Modelle auszugehen, etwa auf kritische Infrastrukturen. Oder die KI könnte eine Biowaffe entwickeln, die ein Massenaussterben zur Folge hat. Die Gefahrenlage sei vielfältig, so Coxon. Die Angriffe, auf die sich der KI-Experte hier bezog, hatten sich in den vergangenen Monaten stark gehäuft.
Das zeigte etwa die Analyse des Nightingale Collective, eines Zusammenschlusses von Forschenden aus dem Tech-Sicherheitsbereich, die zumindest zwölf selbstständig initiierte, von Menschen unautorisierte und unbemerkte Attacken auf verschiedene Online-Plattformen verzeichnet. Dabei benützten KI-Agenten etwa frei zugängliche Systeme wie Open-Source-Dienste, Online-Lexika oder Foren um diese zweckentfremdet zu verwenden als eine Art Ersatzbrowser, Daten zu parken und Informationen auszutauschen. Hinzu kamen Angriffe auf konkurrierende KI-Unternehmen, die Sicherheitslücken ausnützen sollten - auch die waren nicht beauftragt und gingen zunächst unbemerkt von statten.
Was viele Beobachtende an der aktuellen KI-Debatte überraschte: Wichtige Mitarbeiterinnen und Mitarbeiter bzw. Manager großer KI-Unternehmen gaben Coxon recht oder warnten zumindest vor immer größeren Sicherheitsbedenken und Kontrollproblemen im Zusammenhang mit der Weiterentwicklung Künstlicher Intelligenz, darunter die Chefs von OpenAI und Anthropic. Beide fordern eine Art Tempolimit in der KI-Entwicklung, damit Sicherheitsstandards und KI-Technologie Schritt halten könnten.
Eine Forderung, der sich nicht alle Top-KI-Manager anschließen, was sich diese Woche bei der Konferenz in San Francisco deutlich zeigte. Nvidia-Chef Jensen Huang widerspricht all diesen Warnungen - das mit der Vernichtung der Menschheit sei Unsinn genauso wie die Behauptung, die KI würde alle Jobs vernichten. Neue Regulierungen, neue Gesetze, schärfe Sicherheitsstandards brauche es aus seiner Sicht nicht.
Wie sehen das heimische KI-Fachleute? Braucht es mehr Regulierung und strengere Sicherheitsvorgaben? Wer trägt die Verantwortung dafür, wenn KI-Agenten Schaden anrichten - die Menschen, die sie entwickelt haben? Und wie groß sind die Risiken, die von aktuellen und zukünftigen KI-Systemen für Wirtschaft und Mensch ausgehen?
Darüber spricht Marlene Nowotny mit René Mayrhofer, Leiter des Instituts für Netzwerke und Sicherheit der Universität Linz, und mit Phillip Rieger, der am Institut für Informationssicherheit der Technischen Universität Graz, zu sicheren KI-Systemen forscht.
Diskutieren Sie mit und stellen Sie Fragen in der Sendung! Welche Bedenken haben Sie im Zusammenhang mit KI-Anwendungen? Sie erreichen uns telefonisch unter 0800 22 69 79 oder per E-Mail - die Adresse lautet punkteins(at)orf.at
