KI-Entwicklung pausieren

[dododude]

When AI builds itself

Our progress toward recursive self-improvement, and its implications.

www.anthropic.com

TLDR;
Anthropic, als einer der größten Player, denkt es ist eine gute Idee, KI-Entwicklung global auszusetzen, bis die Menschheit dafür bereit ist.

Future is now.

 

[dododude]

Der Artikel endet mit:

What should we do?​

If it were possible to effectively slow the development of this technology to give ourselves more time to deal with its immense implications, we think that would likely be a good thing. But if a slowdown simply lets the least cautious actors catch up technologically, it could leave everyone less safe. Without a global coordination mechanism, companies and governments will have to make difficult decisions about safety while under competitive and geopolitical pressures.
We believe it would be good for the world to have the option to slow or temporarily pause frontier AI development to enable societal structures and alignment research to keep up with the advance of the technology. The Anthropic Institute will conduct research—in collaboration with many others—and take actions to help build the systems that a credible slowdown or pause would require. These systems would enable frontier AI developers to verify that others globally have actually stopped or slowed, and that a bad actor could not use the auspices of a coordinated slowdown to jump ahead in secret. If such systems existed, we expect that we would slow down or temporarily pause, if other developers at or near the frontier also did so in a verifiable manner.
A meaningful slowdown or pause would require multiple well-resourced labs at or near the frontier, in multiple countries, agreeing to stop under the same conditions. It would also require that each can verify that the others have actually stopped. Due to the unique characteristics of AI systems, the detectability (a lower standard than verifiability) element of this arms control problem is much more challenging than with other technologies. Training runs are far easier to conceal than missile silos, their inputs are general-purpose, and the incentive to defect quietly is enormous, because whoever continues while others pause could inherit the lead. A credible pause also has to specify what triggers it, what lifts it, and who adjudicates.
None of this is necessarily impossible in principle—the world has built verification regimes for other complex technologies (e.g., the Intermediate-Range Nuclear Forces Treaty)—but those regimes took decades to build both the infrastructure and the trust. We don’t have that long. A unilateral pause by one lab, by contrast, is achievable immediately, but accomplishes much less: it would change who the front-runner is, but it would not create the wider deliberative process that is currently missing.
In the coming months, we will organize conversations where policymakers, researchers, civil society, and other AI companies can help answer some of the questions this piece raises, especially around full recursive self-improvement and how to create better options for coordination and deliberation. We’ll publish what comes out of it. The window to investigate the questions together is here, and people outside AI companies should be involved in this deliberation.

 

[dododude]

De Version

Was sollten wir tun?

Wenn es möglich wäre, die Entwicklung dieser Technologie wirksam zu verlangsamen, um uns mehr Zeit zu verschaffen, mit ihren enormen Auswirkungen umzugehen, wäre das unserer Ansicht nach wahrscheinlich gut. Wenn eine Verlangsamung jedoch lediglich dazu führt, dass die am wenigsten vorsichtigen Akteure technologisch aufholen, könnte dies alle weniger sicher machen. Ohne einen globalen Koordinationsmechanismus werden Unternehmen und Regierungen schwierige Entscheidungen zur Sicherheit treffen müssen – unter Wettbewerbsdruck und geopolitischem Druck.

Wir glauben, dass es gut für die Welt wäre, die Möglichkeit zu haben, die Entwicklung von Frontier-KI zu verlangsamen oder vorübergehend zu pausieren, damit gesellschaftliche Strukturen und Alignment-Forschung mit dem Fortschritt der Technologie Schritt halten können. Das Anthropic Institute wird – in Zusammenarbeit mit vielen anderen – Forschung betreiben und Maßnahmen ergreifen, um beim Aufbau der Systeme zu helfen, die eine glaubwürdige Verlangsamung oder Pause erfordern würde. Diese Systeme würden es Entwicklern von Frontier-KI ermöglichen zu überprüfen, ob andere weltweit tatsächlich gestoppt oder verlangsamt haben – und ob ein böswilliger Akteur eine koordinierte Verlangsamung nicht heimlich nutzen könnte, um sich einen Vorsprung zu verschaffen. Wenn solche Systeme existierten, gehen wir davon aus, dass wir die Entwicklung verlangsamen oder vorübergehend pausieren würden, sofern andere Entwickler an oder nahe der Frontier dies ebenfalls in überprüfbarer Weise täten.

Eine sinnvolle Verlangsamung oder Pause würde erfordern, dass mehrere gut ausgestattete Labore an oder nahe der technologischen Frontier, in mehreren Ländern, zustimmen, unter denselben Bedingungen zu stoppen. Außerdem müsste jede Seite überprüfen können, dass die anderen tatsächlich gestoppt haben. Aufgrund der besonderen Eigenschaften von KI-Systemen ist das Element der Erkennbarkeit – ein niedrigerer Standard als Überprüfbarkeit – in diesem Problem der Rüstungskontrolle deutlich schwieriger als bei anderen Technologien. Trainingsläufe lassen sich viel leichter verbergen als Raketensilos, ihre Inputs sind allgemein verwendbar, und der Anreiz, heimlich auszuscheren, ist enorm: Wer weitermacht, während andere pausieren, könnte die Führungsposition übernehmen. Eine glaubwürdige Pause muss außerdem festlegen, wodurch sie ausgelöst wird, wodurch sie beendet wird und wer darüber entscheidet.

All das ist grundsätzlich nicht notwendigerweise unmöglich – die Welt hat bereits Verifikationsregime für andere komplexe Technologien aufgebaut, etwa den INF-Vertrag über nukleare Mittelstreckensysteme. Doch solche Regime brauchten Jahrzehnte, um sowohl die Infrastruktur als auch das Vertrauen aufzubauen. So viel Zeit haben wir nicht. Eine einseitige Pause durch ein einzelnes Labor hingegen ist sofort umsetzbar, bewirkt aber deutlich weniger: Sie würde verändern, wer an der Spitze steht, aber sie würde nicht den breiteren deliberativen Prozess schaffen, der derzeit fehlt.

In den kommenden Monaten werden wir Gespräche organisieren, in denen politische Entscheidungsträger, Forschende, die Zivilgesellschaft und andere KI-Unternehmen dabei helfen können, einige der Fragen zu beantworten, die dieser Text aufwirft – insbesondere rund um vollständige rekursive Selbstverbesserung und darum, wie bessere Möglichkeiten für Koordination und gesellschaftliche Beratung geschaffen werden können. Wir werden veröffentlichen, was daraus hervorgeht. Das Zeitfenster, diese Fragen gemeinsam zu untersuchen, ist jetzt offen, und Menschen außerhalb von KI-Unternehmen sollten in diese Beratung einbezogen werden.

 

[felix]

das crazy

 

[D-C]

Da können wir ja alle mal raten, ob die derzeitigen politischen und wirtschaftlichen Entscheidungsträger eine schnelle anscheinend benötigte Regulierung auf den Weg bringen werden.

 

[Domainpreise]

Jungs, das sind Wirtschaftsunternehmen.. ihr glaubt doch nicht selber das die aufhören. Die melken die Kuh und kümmern sich darum, dass die Kühe in der Menge da sind, das die ihre Milch gewinnbringend verkaufen können.

Die spielen mit der Angst der Menschen.. ein sehr altes Spiel. Wenn wir zu schnell sind, dann haben die Leute Angst um Ihre Jobs um ihre berufliche Daseinsberechtigung... Die Geschwindigkeit im Bereich KI ist extrem, früher hat sich das Wissen alle paar Jahre verdoppelt... und jetzt hat Wissen fast keine Grenzen mehr...

Wenn die wirklich Angst haben, dass die Menschheit nicht mitkommt.. Dann sollten die Ihre Ressourcen für die richtig wichtigen Probleme einsetzen - ihre Rechnerleistung, Fachleute, Experten und so weiter - für einige grundlegende Themen wie: Mikroplastik, Krankheiten und so weiter.. Umweltschutz, Ressourcenverteilung und soweiter... das sind die richtigen Probleme.

Jetzt kommt mir nicht - der wählt doch bestimmt grün - und wenn es so wäre - vollkommen egal und steht nicht zur Diskussion - Jungs macht eure Augen und Ohren mal auf. Viele kämpfen gerade um ihre berufliche Zukunft - Designer, Entwickler, Marketingexperten, Contentersteller,... und die Kette hört und hört nicht auf... klar überall braucht man für die richtige Arbeit noch Menschen..

Es sind Wirtschaftsunternehmen.. viel Strategie , viel Berechenbarkeit... aber immer den nächsten Euro in Sicht.

 

[NiceNIC_Domain]

Ich glaube nicht, dass man KI wirklich pausieren kann. Dafür ist der Druck im Markt einfach zu groß. Wenn einige auf die Bremse treten, machen andere wahrscheinlich weiter.

 

[Domainpreise]

Ja klar, der Zug ist auch nicht mehr aufzuhalten. Nur durch Gesetze, die international gelten.. aber ihr wisst doch selber wie das ist, da ist sich jedes Land selbst das Nächste. .. also wird da nichts passieren, das Tempo wird steigen.

In Deutschland gibt es sehr viele Fördersysteme für Studenten und Schüler, das die neue Geschäftsmodelle für KI entwickeln sollen.

Hier mal ein Topf von 500k Euro, dort mal ein Topf von mehreren Millionen bis hin zu dem DigitalPakt 2.0 der Regierung in Höhe von 5 Milliarden...

Also bringt euren Kindern das selber denken bei und schult sie in Ihrem Menschenverstand und schult sie in so vielen Fähigkeiten ihr schafft... nicht zwanghaft, aber mit gesundem Menschenverstand. Der Bereich KI und Technik wird an Tempo noch sehr viel schneller werden, ich glaube das ist für uns gerade der Iststand und in der Zukunft werden die sagen - das war der Anfang von der Übergabe der extrem hohen sozialen Verantwortung der Eltern an die eigenen Kinder.
Und da haben viele den Zug verpasst ...

Ich arbeite viel im Bildungsbereich und habe fast den ganzen Tag in dem Bereich zu tun. Und ich glaube wir sollten selber die Vorbilder für unsere Kinder sein - nicht die "Helden" - aber es vernünftig vorleben.

Und da sind nicht die Ausländer schuld oder jemand der mal das und das macht, es geht hier um das Gesellschaftliche - ich sehe Fremdenhass nur als Ausrede und ist nicht meine Welt. Aber jetzt keine politische Diskussion starten - die bringt in unserer Runde sowieso nichts - wir sind alle international agierende Marktteilnehmer - das wäre also völlig fehlt am Platz.

Ich glaube KI ist gerade ein Hypethema, dass aber das Potential hat, nicht die Welt als Solches, aber unser Handeln und die Zukunft der Menschen zu verändern. Und durch unser Handeln, wird dann doch wieder die Welt bzw. die Umwelt verändert. Aber hier liegt es nicht an der KI sondern wie immer an jedem einzelnen, was wir daraus machen.

Zum Beispiel nutze ich KI Syteme aktiv um meine Firma weiter aufzubauen. Mal Analysen erstellen, mal um zu entscheiden welches Produkte gerade sinnvoll ist, mal für dies, mal für das ... aber unter der Prämisse, dass die KI nicht alle Fakten kennt...

Also man kann sagen ich nutze es umfangreich und in vielen Teilbereichen. Mein Fazit: die haben die KIs extrem geschickt in der Kommunikation aufgebaut, fast alle Antworten die eine Entscheidung als Folge haben - sind wohlwollend kommuniziert, fast alle Finanzthemen sind extrem optimistisch bis total unrealistisch.

Die KI geht immer wieder dahin und lobt und lobt und lobt.. um eine "theoretische" Bindung aufzubauen um daraus eine Nutzungsbindung hinzubekommen - und das ist das extrem Gefährliche. Ich bin da sehr kritisch und das als Heavynutzer. Selbst unter der Vorgabe (Grundlage jeder Diskussion) realistisch zu agieren bis hin zum Worstcase sind die KIs noch wohlwollend und wechseln immer wieder in den Modus "Übertreibung"..

Ich bin mittlerweile der festen Überzeugung, das menschliche Beziehungen die real sind und echte menschliche Diskussionen, der spätere Luxus und die echte "Währung" werden.