Ich hatte einen Kollegen im Referendariat der anschließend Richter wurde. Er pflegte zu sagen, „im Gesetz steht, dass ich eine Entscheidung begründen muss, da steht nicht, dass ich sie gut begründen muss.“
Ich sage nicht, in welchem Ministerium er gelandet ist.
Eine Maschine, die mir eine korrekte Information liefern soll, sollte eine niedrigere Fehlerquote haben - ich warte ja gerade die Rechercheleistung, die ich sonst selbst erbringen muss. Gleichzeitig hat Marc-Uwe gestern einen diesbezüglich wichtigen Aspekt angesprochen: Die KI-Texte klingen oft so wahrscheinlich, obwohl sie falsch sind. Sie wecken Vertrauen, das nicht gerechtfertigt ist.
Und wer ist generell bei menschlichen Aussagen weniger skeptisch?
1/x
Man vertraut zwar einem #Experten in seinem Gebiet mehr, einem #Journalist oder #Richter vielleicht auch. Aber wenn #Dieseldieter mit hocheffiziente Verbrenner erklärt, dann gehe ich in die Debatte.
Kann man übrigens mit der KI nicht wirklich.
Deine beiden Beispiel sind für mich zudem nicht nachvollziehbar:
1. VA können gerichtlich überprüft werden. Die Skepsis gegen die Richtigkeit ist also bereits im System verankert. Woher stammen Deine %-Angaben
2/x
eigentlich? Und wieso nennst Du eine so große Spanne? Und ist darin berücksichtigt, dass nicht jeder Fehler sich im Ergebnis auswirkt und was ist mit falsch positiven Bescheiden, sind die gleich schlimm wie negative?
2. Falsche Atlanten basieren in der Regel vermutlich eher auf Überalterung und nicht auf einem menschlichen Fehler bei der Erstellung. Das ist also gar nicht vergleichbar mit dem Problem, dass eine KI, die vorgibt aktuell zu sein, falsche...
3/x
@Der_zuversichtliche_Daniel @marcuwekling mir ist nicht klar, was du mit falsch positiven bescheiden meinst. Hartz IV, dass gewährt wird, obwohl die Voraussetzung nicht vorliegen?
Ergebnisse auswirft.
Zuletzt noch eine Frage dazu, welche Schlussfolgerung Du aus dem Vergleich ziehst:
Für mich ist klar, dass Automatisierung nur dann Sinn ergibt, wenn dadurch die Fehlerzahl sinkt. Das scheint mir aber gerade nicht der Fall. Vielmehr sinkt nur die Überprüf- und Feststellbarkeit. Dann doch lieber falsche, aber nachvollziehbare menschliche Entscheidungen, oder?
Dann können die RA, die vor allem streiten um Geld zu verdienen, durch...
4/x
@Der_zuversichtliche_Daniel @marcuwekling das ist eben der springende Punkt! Aber jedenfalls ist auch Schnelligkeit ein Problem! Bei deutschen Gerichten liege 1 Mio Verfahren unerledigt
Also lieber schnell nicht nachvollziehbare Ergebnisse als langsamer nachvollziehbare Ergebnisse?
Gerichte korrigiert werden, ebenso wie Behörden, die von Herrn #Dobrindt geleitet werden 😉 und Rechtsanwälte können "gottgleiche" Richter von höheren Instanzen überprüfen lassen.
Ähnlich in der Wissenschaft, wo Fachartikel eben von Fachkollegen überprüft werden usw.
5/x
@Der_zuversichtliche_Daniel @marcuwekling das Gebiet der DDR wurde extra nicht als Ausland markiert. Die DDR saß mit der Bundesrepublik zur gleichen Zeit in der UN Vollversammlung.
Das war nicht in allen Atlanten so und selbst nach Deinem Beispiel ein Spezialfall, der politisch gesteuert war, weil man dadurch die Teilung Deutschlands nicht "anerkennen" wollte.
@Der_zuversichtliche_Daniel @marcuwekling wie ich bereits schrieb: die Prozentangaben stammen aus der Ausbildung. Viele davon kannst du googeln.
Die Angaben zu den BAMF-bescheiden schöpfe ich aus eigener Anschauung
Ich habe die gleiche Ausbildung genossen, solche Zahlen wurden mir nie genannt 😉
Vor allem aber muss es da ja einen Maßstab geben. Meinst Du weltweit, deutschlandweit, Steuerbescheide, Hartz IV-Bescheide, Asyl-Bescheide, Baugenehmigungen usw.?
Du siehst ich bin an dieser Stelle skeptisch mit Dir und das obwohl Du bei mir anhand vieler Deiner sonstigen Posts durchaus Vertrauen genießt.
@AwetTesfaiesus @marcuwekling Ich glaube die Prämisse ist falsch. Der Fakt, dass Prozesse, die viel menschliches Handeln beinhalten, fehleranfällig sind ist der Grund für ein Bedürfnis an Automation, die verlässlich (meint: reproduzierbar gleiche Ergebnisse) ist. KI bringt diese Verlässlichkeit nicht mit sich, d. h. Es gibt *mehr* Kontrollnotwendigkeit und damit Überforderung dank einer Flut von unverlässlichen Ergebnissen, somit weniger Produktivität. Deswegen der kritischere Blick darauf.
@AwetTesfaiesus @marcuwekling Das große Mehr an Geschwindigkeit bei gleicher Fehlerrate ist vor allem deshalb ein Problem, weil es die systemimmanenten Korrekturmechanismen (Widerspruchsmöglichkeiten, Gerichte) ebenso überflutet. Und man es auch bisher noch mehr gewohnt ist, dass etwas richtig ist, wenn es aus einer Maschine kommt und die dann genauso falschen Ergebnisse sogar weniger hinterfragt.
Halte ich überhaupt nicht für schlüssig. Ein Beispiel:
Die Beschränkung des Familiennachzugs für syr. Geflüchtet war in allen Fällen rechtlich falsch. Sie war aber politisch vorgegeben.
Quasi alle Klagen dagegen waren erfolgreich.
Aber nur etwa 30% haben überhaupt geklagt. Heißt: 70% haben es hingenommen. Gerichte trotzdem abgesoffen.
Ein LLM hätte das m.E. mit großer Wahrscheinlichkeit weniger falsch gehandhabt.
@AwetTesfaiesus @marcuwekling Worauf basiert die letzte Annahme? Eine KI ist voll von politischen und vorallem gesellschaftspolitischen Annahmen und Voreingenommenheiten, Rassismen, Misogynie. Mir erschließt sich so gar nicht, warum diese gezielte Fehlergebnisleistung in einem KI-basierten System weniger gegeben sein soll oder gar auszuschließen wäre.
"ausschließen" ist ein absoluter Begriff.
Aber: wenn Deine Fehlerquote bei den Leistungsbescheiden bei 50% liegt (und die Bearbeitungszeit bei > 3 Monaten), dann scheint es mir berechtigt zu fragen:
Wäre eine Fehlerquote on 20% bei einer Bearbeitungsdauer von 30 Minuten nicht das bessere System?
@AwetTesfaiesus @marcuwekling Das würde ich grundsätzlich auch so sehen, wären da nicht die anderen Faktoren wie gesellschaftliche Legitimation, Steuerbarkeit, Ressourcenverbrauch. Ich wollte nur darauf hinaus, dass es IMO nicht so ist, dass die Fehleranfälligkeit von menschengetriebenen Prozessen nicht problematisiert wird. Es gibt nur Arten und Weisen, diese anzugehen, die selbst weniger problembehaftet sind als KI. IT-getriebene Automatisierung gibt es ja nicht erst seit OpenAI.
Ad extremum: Wenn das Amt die Weisung ausgibt, alle Entscheide falsch ergehen zu lassen (so häufig im Migrationsrecht, aber auch im Steuerrecht), ist diese Entscheidung immerhin "Verlässlich", oder?
Halt "verlässlich falsch", aber verlässlich.
@AwetTesfaiesus @marcuwekling Korrekt. Verlässlichkeit in der Maschine heißt aber eben auch: verlässlich änderbar. Man kann die Maschine ändern und bekommt dann verlässliche bessere Ergebnisse. Das war in der IT bisher die Definition von Fortschritt. Genau das geht aber eben nicht mit Technologie, die intrinsisch mit solchen Fehlerraten behaftet ist.
Das empfinde ich auch so, aber: warum nehmen wir hin, dass eine menschliche Struktur mit krassen Fehlerquoten entscheidet?
@AwetTesfaiesus @marcuwekling Ich empfinde das nicht so. Wir leben in einem System mit eingebauten Korrekturmechanismen und um deren Qualität wird in Politik und Gesellschaft gestritten um diese kontinuierlich zu verbessern und dazu kann man sicher auch Technolgie nutzen. Technologie, die den Status Quo jedoch nur manifestiert und die Verbesserungsmöglichkeiten weitestgehend in die Hände einiger weniger, nicht gesellschaftlich Legitimierter legt, ist da IMO eben kritisch(er) zu betrachten.
Verstehe ich richtig: "Wenn Palantir.AI das Sozialamt betreibt, wäre sicher nichts gewonnen"?
Quasi passend dazu: das klingt für normale Menschen sicher skurril, aber in der Ausbildung habe ich reichlich (menschliche) Berichte (uA auch von der Polizei) gelesen, die kaum weniger hanebüchene (sowohl weniger offensichtlich) waren als dieser „Frosch“. Typische Fehler zB: alle Farben, rechts/links, Personen vertauscht, Rechenfehler, Reihenfolgen vertauscht.
@marcuwekling @AwetTesfaiesus
Kürzlich habe ich eine KI gefragt, wer ich (Klarname) bin. Ergebnis:
AfD-Mitglied mit gewalttätiger Vergangenheit in diversen rechtsradikalen Gruppen und MdL im Landtag BW.
Nach dem Hinweis, dass es im Landtag BW nie eine Person gab, rudert die KI zurück und gibt zu, dass alles erfunden war.
Ich kenne mich, aber jemand anderes, potenzieller AG vielleicht, nicht und glaubt der KI.
@morsuapri @marcuwekling das ist schon schlimm .
Aber mehrfach wurde ich im Gerichtssaal für die Dolmetscherin gehalten. Obwohl ich dort in Robbe (!) saß. Einmal wollte der Richter mir ein Ordnungsgeld aufbrummen wegen Nichterscheinens (Amtsgericht München!). Ich möchte ja glauben, er hat meine Identität auch falsch zugeordnet.
@marcuwekling @AwetTesfaiesus
Wenn die betreffende Person zugegen ist und den Irrtum aufklären kann, ist das eine andere Situation, wie wenn da jemand alleine vor dem PC sitzt und „recherchiert“.
Natürlich könnte die Person selbst einige Punkte der Darstellung der KI nachprüfen, aber da bin ich eher misstrauisch.
Eine Anfrage an eine KI KANN einen Hinweis in die richtige Richtung geben, muss aber nachgeprüft (Fachbücher, Zeitschriften,...) werden.
3️⃣40%-50% der Internetseiten sind jur. fehlerhaft.
Bei aller offensichtlichen Gefährlichkeit gerade für die Kreativbrache: Menschen machen mE ständig (!) Fehler!
Ich frage mich, ob wir bei #KI zu oft/leicht mit zweierlei Maß für Richtigkeit messen, wenn es um Fehlerhaftigkeit geht.
Ich frage mich auch ehrlich, welche Mechanismen bei uns am Werk sind. Welches Maß legen wir hier an und warum?
Sind wir evtl (zu sehr) daran gewöhnt, dass Algorithmen zu zuverlässig sind?
@AwetTesfaiesus In Frankfurt hatte ich mal ein Büro Tür an Tür mit einem Mann, der Software für die Luftfahrtindustrie entwickelt, mit dem führte ich Gespräche über Software in Flugzeugen. Der meinte, es sei erstaunlich, dass so wenige Flugzeuge wegen Softwarefehlern herunterfielen und der erklärte mir damals (vor ~ 15 Jahren), dass Flugzeuge immer zwei, programmiertechnisch vollständig eigenständige Systeme hätten, damit nicht bei gleichen Bedingungen der gleiche Fehler auftritt. 1/x
Und: Sie treten auf, und dass sei angesichts der Komplexitat und Legacy unvermeidlich 2/2
Wenn man mal so einen Nationalstaat betrachtet, dann sollte man in ihm, was Software anbelangt, ebenfalls Fail-Safe arbeiten. Your turn ;-)
Konkret: Ich könnte mir vorstellen, dass in dieser (!) konkreten Herangehensweisen an KI viel Coping steckt. Lügen wir uns hier kollektiv in die eigene (intellektuelle) Tasche?
Oder pfeifen wir hier sogar schon verzweifelt im Walde?
Liege ich komplett falsch?
@AwetTesfaiesus Nein ich seh das auch so. Und nebenbei ist das eine philosophisch ziemlich interessante Frage. Ist unsere natürliche Intelligenz wirklich irgendwie erhaben über die maschinelle? Es gibt dazu viel spannende Literatur. Roger Penrose: The Emperor's new mind fällt mir gerade ein.
Witzigerweise scheint mir gerade die IT-Bubble, die ja in gewisser Weise mal besonders verantwortlich ist dafür, besonders streng mit den LLMs zu sein. Haben die einfach nur Angst um ihre Coder-Jobs?
@AwetTesfaiesus Ich hab die KI (soweit ich das weiß) sehr selten benutzt. Aus vielen Gründen, fehlerhafte Antworten gehören eher nicht dazu. Natürlich immer den kritischen Verstand einschalten. Übrigens, wenn man von einem Thema wirklich was versteht, wundert man sich oft, wie fehlerhaft auch zB die SZ berichtet.
2/2
@AwetTesfaiesus Klar, Menschen machen Fehler. Aber Fehler werden durch Menschen wieder abgefedert, korrigiert, berichtigt. Bei LLMs scheint das nicht der Fall, im Gegenteil! Der Zwang zu Ergebnissen führt dazu, dass immer mehr Fehler generiert werden (auch aus der Quelle menschlicher Fehler). Das potenziert die Fehlerquote.
hmm, und wenn wir jetzt da einen Menschen wie Trump dazu vergleichen?
Menschen fantasieren recht ähnlich und sind recht ähnlich von ihrer eigenen Genialität überzeugt. Wir zerstören wissentlich gerade unseren Planeten, glauben an irgendwelche Götter und das Thema Fakenews oder Vorurteile brauch ich kaum ansprechen. Wäre toll wenn irgendwas unsere Fehler korrigieren würde, dann bräuchten wir nicht mal mehr irgendwelche Parteien wählen.
@TheOneSwit irgendwas? Da krieg ich gleich Kopfschüttelattacken - wie soll etwas, das solche Irrlichter wie Menschen schaffen, das noch fehlergeneigt ist als wir Menschen selbst, je Lösungen für lebenswichtige Probleme zaubern? Magie gilt nicht 😉
Die Trumps dieser Welt, die gab es schon in unserer Geschichte. Auch im Atomwaffen Zeitalter. Wenn wir Solidarität leben mit den anderen, die nicht so sind, dann besiegen wir auch solche Despoten.
@AwetTesfaiesus
Das irgendwas bezog sich auf die Aussage dass unsere menschlichen Fehler von uns Menschen korrigiert werden würden. Das seh ich weder bei uns Menschen noch bei den LLM die wir nach unserem Vorbild gestalten und für göttlich halten.
Bei LLM und Menschen sehe ich jedoch starke ähnlichkeiten was Informationsverarbeitung betrifft vor allem bei fehlerhaften oder mangelnden Informationen.
Da spinnen wir noch viel mehr Blödsinn als so eine LLM.
@AwetTesfaiesus
Die Problematik bei KI-basierten Fehlern vs Fehlern anderer Systeme ist das Erkennen und Korrigieren von Fehlern.
Ich arbeite mit solchen Systemen, die am Ende möglichst wenig Fehler aufweisen sollen. KI-Prozesse fällt es schwer mitzuteilen, wann ihre Ergebnisse unsicher sind, wenn deren Grundlagen Zweifel erlauben. Das ist bei anderen Systemen einfacher, weil deren Grundlage leichter ermittelbar sind.
Fehlerarten sind auch nicht gleich. Es gibt lässliche und schwerwiegende.
1/
@AwetTesfaiesus
2.
Eine Antwort auf o.g. Problematik sind teurere LLM mit Reasoning.
Die bieten dennoch nicht die gleichen Einstellmöglichkeit eines transparenten Fehlerhandlings.
@AwetTesfaiesus
Ja, das ist in meinen Augen der komplett falsche Ansatz, der noch dazu die "Hirngespinnste" von #KI herunterspielt.
Es fängt schon beim Begriff an, der uns vorhandene Intelligenz vorgaukelt. Weder diese noch Empathie ist wirklich vorhanden. Es werden Inputdaten einfach nur ausgewertet und in Beziehung gesetzt.
Aber wir nehmen die Ergebnisse als verwendbar (und wahr) as is wahr, nutzen sie sogar als Argumentation, gar als Beweis.
Darum sollte KI immer hinterfragt werden.
@oldperl ich denke, meine Frage wird missverstanden. Natürlich sollten wir hinterfragen. Ich frage mich aber: hinterfragen wir menschliche Ergebnisse mit demselben Eifer?
@AwetTesfaiesus
Um beim Beispiel VA zu bleiben: Wenn ein fehlerhafter VA vorliegt, kann man den/die entspr. Sachbearbeiter*in auffordern, diesen zu prüfen. V.a. weil es sich häufig um Flüchtigkeits- und Unaufmerksamkeitsfehler handelt, ist mein Vertrauen darin, dass ein Mensch einen Vorgang überprüft und anschließend richtigstellt, deutlich größer als in eine Überprüfung durch LLMs, die dann neu fabulieren.
@oldperl
@AwetTesfaiesus @oldperl
In kurz:
Menschen sind Menschen, manipulierbar fehlerhaft.
Der Brockhaus/Wikipedia war recherhiert und "wahr".
Computer sind/waren Maschinen die etwas deterministisch berechnet haben. Das Ergebnis war quasi "mathematisch richtig" und nachvollziehbar. Man verlässt sich darauf.
LLMs liefern statistisch wahrscheinliche Halluzinationen ohne Verständnis von wahr und falsch. Wir unterstellen aber Intelligenz und nutzen es als Lexikon.
Ist halt schwierig/falsch.
@AwetTesfaiesus Ja, dort wo ich selbst Kompetenz mitbringe und dort wo nicht: da suche ich immer nach mehreren glaubwürdigen Quellen. Aber klar, irgendwo kommen alle an Grenzen. Dehalb liebe ich das Fediverse. Das ist ein Netzwerk für menschliche Kompetenzerweiterung 
@oldperl
@energisch_
Schön gesagt, Marina. Wobei es, wie eigentlich immer, auch sehr auf einen selbst ankommt.
Wenn ich Aussagen ohne eigene Prüfung des Wahrheitsgehaltes bzw. ob sie zu meiner eigenen Meinung passen, übernehme, dann muss ich mich im Nachhinein nicht wundern.
@AwetTesfaiesus ich denke nicht, dass ich die Frage missverstehe.
Allein der Vergleich zu menschlichen Ergebnissen zeigt doch schon das Missverständnis in der Frage, denn #KI ist eben nicht menschlich, hat keine eigene Intelligenz. Und gerade deswegen, weil es eben NUR eine Maschine, ein Algorithmus, ein #llm ist, gerade deswegen müssen wir es noch stärker hinterfragen und darauf bestehen, dass Ergebnisse korrekt sind, dort eben keine "menschlichen" Fehler auftauchen.
@oldperl ich möchte klarstellen: ich frage mich u.A. warum wir menschlichen Aussagen nicht mit derselben Skepsis begegnen, wie der KI und zwar selbst dann nicht, wenn wir wissen, dass die Ergebnisse mit über 50%iger Wahrscheinlichkeit falsch sind (Jobcenterbescheid?). Wieso ist die falsche „Map of Europe“ ein Anlass zur Empörung, die 10tausend falschen Karten in unseren Schulen aber nicht?
@AwetTesfaiesus und zur letzten Frage, nein, tun wir nicht, und die Politik geht da "mit gutem Beispiel" voran. Wer Hinterfragt #Trump denn wirklich, und öffentlich? Die Zivilgesellschaft, nicht die Politik.
Und weitere Beispiele könnte ich hier noch massenhaft aufzählen.
