Was ist AGI und Superintelligenz? eine spezielle KI-Kritik. // What are AGI and superintelligence? A special critique of AI.
2025-08-22 , Tent/Zelt 14: Call for Content TENT

Die Bedrohungen der Gesellschaft durch KI-Technologien sind vielfälltig: Bedrohung von Freiheiten und der demokratischen Systeme, Verstärkung von Diskriminierung, soziale Disruption, ... KI-Systeme wie sie sich aktuell darstellen und weiter entwickeln sind Ideale Werkzeuge zum Ermöglichen und Stabilisieren faschistischer und anderer denkbarer totalitärer Systeme.

Darüber hinaus gehen aber noch die Risiken die mit der Entwicklungen von sogenannter AGI (Artificial General Intelligence) einher gehen. Diese noch nicht existierenden Systeme sollen in den drei Bereichen A->autonomy (selbstädige Handlungsfähigkeit), G->generality (hohe Algemeinheit, also geringe Spezialisierung) und I->inteligence (hohe Intelligenz) gleichzeitig optimiert werden.

Auch ohne das diese Systeme "Bewustsein", "Willen" oder einen "Selbsterhaltungstrieb" im menschlichen Sinne haben müssen, besteht die Gefahr eines Kontrollverlustes. Die dystopischen Szenarien reichen von KI-Diktaturen bis zur Auslöschung der Menschheit. Trotz vieler warnender Stimmen aus der Wissenschaft, auch von Insidern der KI-Szene und alarmierender Forschungsergebnisse über aktuelle KI-Systeme wird am Rennen um die Erreichung von AGI aus machtpolitischen, wirtschaftlichen und weiteren teilweise schwer nachvollziebaren irrationalen Gründen festgehalten. Die wichtigsten Player sind die grossen bekannten US-Tech-Unternehmen und Staaten wie z.B. USA und China. Die Meinungen darüber wann es solche Systeme geben wird reichen aktuell von "nie" bis zu Aussagen wie "in 2-3Jahren", sowohl von KI-Adepten als auch Kritiker_innen.

Auf die aktuelle Brisanz der AGI-Problematik bin ich durch aktuelle Videos und Texte aufmerksam geworden und es ist mir ein Bedürfniss erworbenes Wissen weiterzugeben weil mir das Thema gerade sehr auf den Nägeln zu brennen scheint. Ich weise darauf hin das ich keine Expert_in in diesen Themen bin und freue mich auch über Workshopteilnehmende die mehr Wissen als ich haben und dieses in den Workshop einbringen. Kommt gern auf jedem Wissenstand zu diesem Workshop. Je nachdem was ihr braucht kann ich auch eine kleine Einführung in die Techniken aktueller KI's geben und ich freue mich auf einen intensiven Austausch. Ich werde mich in diesem Workshop stark an dem sehr aktuellen Essay "Keep the Future Human" von Anthony Aguirre orientieren, in welchem vor einem Kontrollverlust mit katastrophalem Ausgang gewarnt wird und welcher einen Weg aufzeigt in eine Zukunft mit KI aber ohne AGI zu gehen.

//

AI technologies pose a variety of threats to society: threats to freedoms and democratic systems, increased discrimination, social disruption, etc. AI systems as they currently exist and continue to develop are ideal tools for enabling and stabilizing fascist and other conceivable totalitarian systems.

In addition, there are the risks associated with the development of so-called AGI (Artificial General Intelligence). These systems, which do not yet exist, are to be optimized simultaneously in the three areas of A->autonomy (independent ability to act), G->generality (high generality, i.e., low specialization), and I->intelligence (high intelligence).

Even without these systems having “consciousness,” “will,” or a “self-preservation instinct” in the human sense, there is a risk of losing control. The dystopian scenarios range from AI dictatorships to the extinction of humanity. Despite many warning voices from the scientific community, including insiders from the AI scene, and alarming research results on current AI systems, the race to achieve AGI is continuing for reasons of power politics, economics, and other irrational reasons that are sometimes difficult to understand. The most important players are the large, well-known US tech companies and countries such as the US and China. Opinions on when such systems will be available currently range from “never” to statements such as “in 2-3 years,” both from AI adepts and critics.

I became aware of the current urgency of the AGI issue through recent videos and texts, and I feel a need to pass on my acquired knowledge because the topic seems very pressing to me at the moment. I would like to point out that I am not an expert on these topics and would be happy to have workshop participants who have more knowledge than I do and can contribute it to the workshop. Feel free to come to this workshop regardless of your level of knowledge. Depending on what you need, I can also give a brief introduction to the techniques of current AI, and I look forward to an intensive exchange. In this workshop, I will draw heavily on the very timely essay “Keep the Future Human” by Anthony Aguirre, which warns of a loss of control with catastrophic consequences and points the way to a future with AI but without AGI.


Please describe your contribution shortly (1-2 sentences):

Über die Risiken der Entwicklung von KI in eine Richtung die hohe Autonomie, Allgemeinwissen und Intelligenz vereint (AGI) und die Gefahr eines Kontrollverlustes birgt. Das ist ein anderes Thema als allgemeine Kritik an den gesellschaftlichen Auswirkungen von KI generell (welche auch sehr berechtigt ist).

How many people can take part in your contribution?:

30

Will your contribution deal with movement history?:

Bewegungsgeschichte spielt keine Rolle im Beitrag.

What is your preferred language to hold the contribution in?:

de

What is the linguistical level of your contribution? Is it in easy read/plain English?:

B1: Fortgeschrittene Sprachverwendung

Is prior knowledge required for the content?:

nein

Who is your contribution (especially) aimed at?:

Keine spezifische Ausrichtung

Ich bin πxl (keine Pronomen). Ich würde mich als nerdie-Person bezeichnen und interessiere mich schon seit meiner Jugend (die schon eine Weile her ist) für Computer-Themen, Programmierung, Kybernetik aber auch Philosophie und Politik. Die meiste Zeit meines Lebens war ich als Musiker_in und Pädagog_in unterwegs. In den letzten Jahren habe ich meine Aktivitäten stark in linke, aktivistische Arbeit verlagert. Die Entwicklungen im KI-Bereich habe ich über die Jahre verfolgt.