Can Rewriting an AI Agent Bend the Intelligence Curve? - Zhengyao Jiang

Zusammenfassung

Stichpunkte

• Weco AI hat mit seinem AIDE-Agenten rekursive Selbstverbesserung (RSI) demonstriert, indem ein autonomes Forschungssystem seine eigene „Harness“ (Prompts, Tools, Fähigkeiten) zur Forschungsoptimierung verbessert hat. 3:27
• Die Definition von RSI bei Weco AI konzentriert sich auf das Ergebnis – die Verbesserung der Systemfähigkeiten – und nicht unbedingt auf die Neuverdrahtung des „Gehirns“ oder spezifischer Schichten. 3:27
• Der selbstentwickelte AIDE-Harness (AIDE 85) erzeugte zwar „alienartigen, spaghettischen Code“, zeigte aber eine außergewöhnlich gute Generalisierung, selbst bei Out-of-Distribution-Aufgaben wie WeatherBench 2, und übertraf handoptimierte Harnesses. 5:03
• Die Zusammenarbeit zwischen Mensch und KI bleibt entscheidend, da Menschen weiterhin überlegen sind, wenn es darum geht, kreative Primitive zu generieren und erste Prototypen zu erstellen, die den Suchraum und die induktiven Verzerrungen für KI-Agenten definieren. 7:31
• Weco AI klassifiziert RSI in vier Stufen: Stufe 0 (Delegation), Stufe 1 (Netto-Positiv, wo sie sich aktuell befinden), Stufe 2 (Zündung, bei der die innere Schleife die äußere Schleife verbessern kann) und Stufe 3 (Wendepunkt mit selbstbezogenen Schleifen auf allen Ebenen). 9:00
• Das System entwickelte Mechanismen zur Verhinderung von „Reward Hacking“, bei denen die äußere Schleife die innere Schleife daran hindert, Benchmarks auf unerwünschte Weise zu optimieren, obwohl diese Mechanismen im Laufe der Zeit fehlerhaft werden können. 13:40
• Zur Bewertung der Generalisierungsfähigkeit des Meta-Lernsystems verwendet Weco ein strenges Protokoll mit öffentlichen und privaten Datensätzen sowie Holdout-Benchmarks, die selbst die äußere Schleife nie gesehen hat. 16:07
• Echte Offenheit und das Sammeln von „Trittsteinen“ erfordern eine große Sammlung von Aufgaben, da die Optimierung für eine einzelne Aufgabe zu gierigem Hill-Climbing führt, während vielfältige Aufgaben die Übertragung von Ideen ermöglichen. 34:27
• Weco AI's autonomer Forschungs-Harness erzielte beim OpenAI Parameter Golf Wettbewerb sieben akzeptierte Beiträge zur Optimierung eines kleinen Sprachmodells, was die Leistungsfähigkeit autonomer Systeme in der realen Forschung unterstreicht. 40:29
• Trotz der Fortschritte bei RSI ist eine künstliche Superintelligenz (ASI) nicht unmittelbar bevorstehend, da menschliche Beiträge zur Definition von Abstraktionen, Bewertungen, Einschränkungen und kreativen Primitiven weiterhin unerlässlich sind. 43:03