OpenAI versprach, 20 % seiner Rechenleistung für die Bekämpfung der gefährlichsten Arten von KI aufzuwenden, hat es jedoch nie geliefert

Jetzt, weniger als ein Jahr später, hat sich dieses Team, das sich Superalignment nannte, aufgrund von Mitarbeiterkündigungen und Vorwürfen aufgelöst, dass OpenAI Produkteinführungen Vorrang vor KI-Sicherheit einräumt. Laut sechs Quellen, die mit der Arbeit des OpenAI Superalignment-Teams vertraut sind, hat OpenAI seine Zusage, dem Team 20 % seiner Rechenleistung zur Verfügung zu stellen, nie erfüllt.

Stattdessen, so Quellen, sah das Team wiederholt, dass seine Anträge auf Zugang zu Grafikprozessoren, speziellen Computerchips, die zum Trainieren und Ausführen von KI-Anwendungen benötigt werden, von der OpenAI-Führung abgelehnt wurden, obwohl das gesamte Computerbudget des Teams nie annähernd den Anforderungen entsprach. Es wurde eine Schwelle von 20 % versprochen.

Diese Ergebnisse werfen die Frage auf, wie ernst OpenAI sein öffentliches Versprechen nimmt und ob anderen öffentlichen Verpflichtungen des Unternehmens vertraut werden sollte. OpenAI antwortete nicht auf Anfragen nach Kommentaren zu dieser Geschichte.

Das Unternehmen sieht sich derzeit mit Gegenreaktionen wegen der Verwendung von Stimme in seinen KI-basierten Sprachgenerierungsfunktionen konfrontiert, die eine verblüffende Ähnlichkeit mit denen der Schauspielerin Scarlett Johansson aufweisen. In diesem Fall wurden Fragen zur Glaubwürdigkeit der öffentlichen Aussagen von OpenAI aufgeworfen, dass die Ähnlichkeit zwischen der Stimme der KI, die es „Sky“ nennt, und der von Johansson rein zufällig sei. Johansson sagt, Sam Altman, Mitbegründer und CEO von OpenAI, habe sie letzten September kontaktiert, als Skys Stimme zum ersten Mal auf den Markt kam, und um Erlaubnis gebeten, ihre Stimme zu verwenden. Ich lehnte ab. Sie sagt, Altman habe letzte Woche erneut um Erlaubnis gebeten, ihre Stimme zu verwenden, kurz vor einer Demonstration des neuesten GPT-4o-Modells, das Skys Stimme verwendet. OpenAI hat bestritten, Johanssons Stimme ohne ihre Erlaubnis verwendet zu haben, und erklärt, es habe eine professionelle Schauspielerin bezahlt, die es angeblich nicht legal preisgeben darf, um Sky zu erschaffen. Aber Johanssons Behauptungen haben nun Zweifel daran aufkommen lassen, und einige spekulieren in den sozialen Medien, dass OpenAI tatsächlich Johanssons Stimme geklont oder möglicherweise auf irgendeine Weise die Stimme einer anderen Schauspielerin mit der von Johansson gemischt hat, um Sky zu erschaffen.

Das OpenAI Superalignment-Team wurde unter der Leitung von Ilya Sutskever, Mitbegründer und ehemaliger Chefwissenschaftler von OpenAI, gegründet, dessen Ausscheiden aus dem Unternehmen letzte Woche bekannt gegeben wurde. Jan Laecke, ein langjähriger Forscher bei OpenAI, war Co-Leiter des Teams. Am Freitag, zwei Tage nach Suzkevers Abgang, gab er seinen Rücktritt bekannt. Anschließend informierte das Unternehmen die verbleibenden Mitarbeiter des Teams, insgesamt etwa 25 Personen, über die Auflösung und eine Umverteilung innerhalb des Unternehmens.

Es war ein katastrophaler Untergang für ein Team, dessen Arbeit OpenAI noch vor weniger als einem Jahr als lebenswichtig für das Unternehmen und wichtig für die Zukunft der Zivilisation erachtet hatte. Superintelligenz ist die Idee eines zukünftigen hypothetischen künstlichen Intelligenzsystems, das intelligenter sein wird als alle Menschen zusammen. Es handelt sich um eine Technologie, die über das erklärte Ziel des Unternehmens hinausgeht, künstliche allgemeine Intelligenz (AGI) zu schaffen – ein einziges KI-System, das so intelligent ist wie jeder Mensch.

Superintelligence, Inc Das sagte er bei der Bekanntgabe des TeamsEs könnte eine existenzielle Bedrohung für die Menschheit darstellen, indem es versucht, Menschen zu töten oder zu versklaven. „Wir haben keine Lösung, um potenziell superintelligente KI zu leiten und zu kontrollieren und zu verhindern, dass sie abtrünnig wird“, sagte OpenAI in seiner Ankündigung. Das Superalignment-Team sollte diese Lösungen erforschen.

Es war eine Mission, die so wichtig war, dass das Unternehmen in seiner Ankündigung erklärte, es werde „20 % der Rechenleistung, die wir bisher in den nächsten vier Jahren erworben haben“, für diese Aufgabe aufwenden.

Aber sechs Quellen, die mit der Arbeit des Superalignment-Teams vertraut sind, sagten, dass solche Berechnungen nie der Gruppe zugewiesen wurden. Stattdessen erhielt es einen Betrag, der weit unter dem normalen Computerbudget des Unternehmens lag, das alle drei Monate neu bewertet wird.

Eine Quelle, die mit der Arbeit des Superalignment-Teams vertraut ist, sagte, dass es keine eindeutigen Maßstäbe für die genaue Berechnung der 20 % gebe, sodass weitreichende Interpretationen möglich seien. Die Quelle sagte beispielsweise, dem Team sei nie gesagt worden, ob das Versprechen „20 % pro Jahr für vier Jahre“, „5 % pro Jahr für vier Jahre“ oder einen variablen Betrag bedeute, der am Ende „1 % oder 2 %“ betragen könnte. „% für vier Jahre“ in den ersten drei Jahren, dann der Großteil des Engagements im vierten Jahr. Wie auch immer, alle Quellen Glück Diese Geschichte bestätigte, dass das Superalignment-Team bis Juli 2023 nie annähernd 20 % der sicheren Rechenleistung von OpenAI erreicht hat.

OpenAI-Forscher können auch Anfragen für sogenanntes „elastisches“ Computing einreichen – Zugriff auf zusätzliche GPU-Kapazität über das Budget hinaus –, um zwischen vierteljährlichen Budgetbesprechungen neue Projekte abzuwickeln. Diese Quellen sagten jedoch, dass flexible Anfragen des Superalignment-Teams routinemäßig von hochrangigen Beamten abgelehnt wurden.

Bob McGraw, Vizepräsident für Forschung bei OpenAI, war der leitende Angestellte, der das Team über die Ablehnung dieser Anfragen informierte, aber andere im Unternehmen, darunter CTO Mira Moratti, waren an den Entscheidungen beteiligt, sagten die Quellen. Weder McGraw noch Moratti antworteten auf Anfragen nach Kommentaren zu dieser Geschichte.

Während das Team einige Nachforschungen anstellte, wurde es veröffentlicht Papier Die Quelle erläuterte detailliert ihre Erfahrungen mit der erfolgreichen Umsetzung eines weniger leistungsfähigen KI-Modells zur Steuerung eines leistungsfähigeren Modells im Dezember 2023 und sagte, dass der Mangel an Rechenleistung die ehrgeizigeren Ideen des Teams vereitelt habe.

Nach seinem Rücktritt verfasste Laike am Freitag eine Reihe von Beiträgen auf X (ehemals Twitter), in denen er seinen ehemaligen Arbeitgeber kritisierte und sagte: „Sicherheitskultur und -prozesse sind gegenüber glänzenden Produkten in den Hintergrund getreten.“ Er sagte auch: „Mein Team ist in den letzten Monaten gegen den Wind gesegelt. Manchmal hatten wir Schwierigkeiten mit der Berechnung, und die Fertigstellung dieser wichtigen Recherche wurde immer schwieriger.

Fünf Quellen, die mit der Arbeit des Superalignment-Teams vertraut sind, unterstützten Leikes Darstellung und sagten, dass sich die Probleme beim Computerzugriff im Zuge der Pattsituation vor Thanksgiving zwischen Altman und dem Vorstand der gemeinnützigen Organisation OpenAI verschlimmerten.

Sutskever, der Mitglied des Vorstands war, hatte für die Entlassung von Altman gestimmt und wurde vom Vorstand ausgewählt, um Altman über die Neuigkeiten zu informieren. Als OpenAI-Mitarbeiter als Reaktion auf die Entscheidung rebellierten, veröffentlichte Sutskever später auf X, dass er seine Beteiligung an Altmans Entlassung „zutiefst bedauere“. Letztendlich wurde Altman wiederernannt und Sutskever und mehrere andere Vorstandsmitglieder, die an seiner Absetzung beteiligt waren, traten aus dem Vorstand zurück. Sutskever kehrte nach der Wiedereinstellung von Altman nie mehr zur Arbeit bei OpenAI zurück, verließ das Unternehmen jedoch erst letzte Woche offiziell.

Eine Quelle war mit der Methode der anderen Quellen nicht einverstanden Glück Sie sprach über die Computerprobleme, mit denen Superalignment konfrontiert war, und sagte, dass diese bereits vor Sutskevers Beteiligung an dem gescheiterten Putsch entstanden seien, der die Gruppe von Anfang an geplagt habe.

Während es einige Berichte gab, dass Sutskever das Superalignment-Team weiterhin aus der Ferne mitleitete, sagten mit der Arbeit des Teams vertraute Quellen, dass dies nicht der Fall sei und dass Sutskever keinen Zugriff auf die Arbeit des Teams gehabt habe und danach keine Rolle mehr bei der Leitung des Teams gespielt habe . Das Erntedankfest.

Mit dem Weggang von Sutskever verlor das Superalignment-Team die einzige Person im Team, die innerhalb der Organisation über genügend politisches Kapital verfügte, um sich erfolgreich für die Computeraneignung einzusetzen, hieß es aus Quellen.

Neben Leike und Sutskever hat OpenAI in den letzten Monaten mindestens sechs weitere KI-Sicherheitsforscher verschiedener Teams verloren. Einer der Forscher, Daniel Cocotaylo, sagte der Nachrichtenseite Vox, dass er „nach und nach das Vertrauen in die Führung von OpenAI und ihre Fähigkeit, verantwortungsvoll mit AGI umzugehen, verlor, also bin ich zurückgetreten.“

Als Antwort auf Leikes Kommentare posteten Altman und Mitbegründer Greg Brockman, der Präsident von OpenAI ist, auf [Leike] Für alles, was er für OpenAI getan hat. Die beiden schrieben weiter: „Wir müssen die Messlatte unserer Sicherheitsarbeit weiter höher legen, um den Risiken jedes neuen Modells gerecht zu werden.“

Anschließend äußerten sie ihre Sicht auf den Ansatz des Unternehmens zur zukünftigen KI-Sicherheit, der einen viel stärkeren Fokus auf das Testen von Modellen, die sich derzeit in der Entwicklung befinden, einschließen wird, anstatt zu versuchen, theoretische Ansätze zu entwickeln, wie zukünftige, leistungsstärkere Modelle sicher gemacht werden können. „Wir brauchen eine sehr enge Rückkopplungsschleife, strenge Tests, sorgfältige Überlegungen bei jedem Schritt, erstklassige Sicherheit und Harmonie zwischen Sicherheit und Fähigkeiten“, schrieben Brockman und Altman und fügten hinzu, dass „erfahrungsbasiertes Verständnis dabei helfen kann, den weiteren Weg zu bestimmen.“

Die Leute, mit denen sie gesprochen haben Glück Sie taten dies anonym, entweder weil sie angaben, sie hätten Angst, ihren Arbeitsplatz zu verlieren, oder weil sie befürchteten, ihre Anteile am Unternehmen zu verlieren, oder beides. Mitarbeiter, die OpenAI verließen, wurden gezwungen, Trennungsvereinbarungen zu unterzeichnen, die eine strikte Nichtverunglimpfungsklausel enthielten, die besagte, dass das Unternehmen ihre unverfallbaren Anteile zurückgeben konnte, wenn sie das Unternehmen öffentlich kritisierten oder sogar zugaben, dass die Klausel existierte. Den Mitarbeitern wurde mitgeteilt, dass jeder, der sich weigert, die Trennungsvereinbarung zu unterzeichnen, auch seine Anteile verliert.

Nach Fox erwähnt Bezüglich dieser Trennungsbedingungen schrieb Altman auf X, dass ihm diese Klausel nicht bekannt sei und dass ihm diese Tatsache „wirklich peinlich“ sei. Er sagte, OpenAI habe nie versucht, die Klausel durchzusetzen und unverfallbare Aktien für irgendjemanden zurückzufordern. Er sagte, das Unternehmen sei dabei, seine Austrittspapiere zu aktualisieren, um das Problem zu „beheben“, und dass alle ehemaligen Mitarbeiter, die Bedenken hinsichtlich der Bestimmungen in den von ihnen unterzeichneten Austrittspapieren hätten, sich bezüglich der Angelegenheit direkt an sie wenden könnten und diese geändert würden.