KI-Entwicklung pausieren

[dododude]

When AI builds itself

Our progress toward recursive self-improvement, and its implications.

www.anthropic.com

TLDR;
Anthropic, als einer der größten Player, denkt es ist eine gute Idee, KI-Entwicklung global auszusetzen, bis die Menschheit dafür bereit ist.

Future is now.

 

[dododude]

Der Artikel endet mit:

What should we do?​

If it were possible to effectively slow the development of this technology to give ourselves more time to deal with its immense implications, we think that would likely be a good thing. But if a slowdown simply lets the least cautious actors catch up technologically, it could leave everyone less safe. Without a global coordination mechanism, companies and governments will have to make difficult decisions about safety while under competitive and geopolitical pressures.
We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up with the advance of the technology. The Anthropic Institute will conduct research—in collaboration with many others—and take actions to help build the systems that a credible slowdown or pause would require. These systems would enable frontier AI developers to verify that others globally have actually stopped or slowed, and that a bad actor could not use the auspices of a coordinated slowdown to jump ahead in secret. If such systems existed, we expect that we would slow down or temporarily pause, if other developers at or near the frontier also did so in a verifiable manner.
A meaningful slowdown or pause would require multiple well-resourced labs at or near the frontier, in multiple countries, agreeing to stop under the same conditions. It would also require that each can verify that the others have actually stopped. Due to the unique characteristics of AI systems, the detectability (a lower standard than verifiability) element of this arms control problem is much more challenging than with other technologies. Training runs are far easier to conceal than missile silos, their inputs are general-purpose, and the incentive to defect quietly is enormous, because whoever continues while others pause could inherit the lead. A credible pause also has to specify what triggers it, what lifts it, and who adjudicates.
None of this is necessarily impossible in principle—the world has built verification regimes for other complex technologies (e.g., the Intermediate-Range Nuclear Forces Treaty)—but those regimes took decades to build both the infrastructure and the trust. We don’t have that long. A unilateral pause by one lab, by contrast, is achievable immediately, but accomplishes much less: it would change who the front-runner is, but it would not create the wider deliberative process that is currently missing.
In the coming months, we will organize conversations where policymakers, researchers, civil society, and other AI companies can help answer some of the questions this piece raises, especially around full recursive self-improvement and how to create better options for coordination and deliberation. We’ll publish what comes out of it. The window to investigate the questions together is here, and people outside AI companies should be involved in this deliberation.

 

[dododude]

De Version

Was sollten wir tun?

Wenn es möglich wäre, die Entwicklung dieser Technologie wirksam zu verlangsamen, um uns mehr Zeit zu verschaffen, mit ihren enormen Auswirkungen umzugehen, wäre das unserer Ansicht nach wahrscheinlich gut. Wenn eine Verlangsamung jedoch lediglich dazu führt, dass die am wenigsten vorsichtigen Akteure technologisch aufholen, könnte dies alle weniger sicher machen. Ohne einen globalen Koordinationsmechanismus werden Unternehmen und Regierungen schwierige Entscheidungen zur Sicherheit treffen müssen – unter Wettbewerbsdruck und geopolitischem Druck.

Wir glauben, dass es gut für die Welt wäre, die Möglichkeit zu haben, die Entwicklung von Frontier-KI zu verlangsamen oder vorübergehend zu pausieren, damit gesellschaftliche Strukturen und Alignment-Forschung mit dem Fortschritt der Technologie Schritt halten können. Das Anthropic Institute wird – in Zusammenarbeit mit vielen anderen – Forschung betreiben und Maßnahmen ergreifen, um beim Aufbau der Systeme zu helfen, die eine glaubwürdige Verlangsamung oder Pause erfordern würde. Diese Systeme würden es Entwicklern von Frontier-KI ermöglichen zu überprüfen, ob andere weltweit tatsächlich gestoppt oder verlangsamt haben – und ob ein böswilliger Akteur eine koordinierte Verlangsamung nicht heimlich nutzen könnte, um sich einen Vorsprung zu verschaffen. Wenn solche Systeme existierten, gehen wir davon aus, dass wir die Entwicklung verlangsamen oder vorübergehend pausieren würden, sofern andere Entwickler an oder nahe der Frontier dies ebenfalls in überprüfbarer Weise täten.

Eine sinnvolle Verlangsamung oder Pause würde erfordern, dass mehrere gut ausgestattete Labore an oder nahe der technologischen Frontier, in mehreren Ländern, zustimmen, unter denselben Bedingungen zu stoppen. Außerdem müsste jede Seite überprüfen können, dass die anderen tatsächlich gestoppt haben. Aufgrund der besonderen Eigenschaften von KI-Systemen ist das Element der Erkennbarkeit – ein niedrigerer Standard als Überprüfbarkeit – in diesem Problem der Rüstungskontrolle deutlich schwieriger als bei anderen Technologien. Trainingsläufe lassen sich viel leichter verbergen als Raketensilos, ihre Inputs sind allgemein verwendbar, und der Anreiz, heimlich auszuscheren, ist enorm: Wer weitermacht, während andere pausieren, könnte die Führungsposition übernehmen. Eine glaubwürdige Pause muss außerdem festlegen, wodurch sie ausgelöst wird, wodurch sie beendet wird und wer darüber entscheidet.

All das ist grundsätzlich nicht notwendigerweise unmöglich – die Welt hat bereits Verifikationsregime für andere komplexe Technologien aufgebaut, etwa den INF-Vertrag über nukleare Mittelstreckensysteme. Doch solche Regime brauchten Jahrzehnte, um sowohl die Infrastruktur als auch das Vertrauen aufzubauen. So viel Zeit haben wir nicht. Eine einseitige Pause durch ein einzelnes Labor hingegen ist sofort umsetzbar, bewirkt aber deutlich weniger: Sie würde verändern, wer an der Spitze steht, aber sie würde nicht den breiteren deliberativen Prozess schaffen, der derzeit fehlt.

In den kommenden Monaten werden wir Gespräche organisieren, in denen politische Entscheidungsträger, Forschende, die Zivilgesellschaft und andere KI-Unternehmen dabei helfen können, einige der Fragen zu beantworten, die dieser Text aufwirft – insbesondere rund um vollständige rekursive Selbstverbesserung und darum, wie bessere Möglichkeiten für Koordination und gesellschaftliche Beratung geschaffen werden können. Wir werden veröffentlichen, was daraus hervorgeht. Das Zeitfenster, diese Fragen gemeinsam zu untersuchen, ist jetzt offen, und Menschen außerhalb von KI-Unternehmen sollten in diese Beratung einbezogen werden.

 

[felix]

das crazy