Apple veröffentlichte eine Studie, in dem er einen einzigartigen Prozess beschreibt, wie er lernte großes Sprachmodell (LLM) zur Erstellung hochwertiger Benutzeroberflächen in SwiftUI – und das praktisch ohne menschliches Zutun. Das Ergebnis ist ein neues Modell UICoder, das sich dank automatischem Feedback und iterativem Training selbst verbessern konnte.
Vom Datenmangel zum eigenen Datensatz
Proderjenige, der Apple gelöst, war klar – in den normalen Trainingsdaten ist es UI-Code extrem selten, die oft weniger als 1 % der Gesamtmenge ausmachen. Apple begann mit einem Open-Source-Modell StarChat-Beta spezialisierte sich auf Programmierung und gab ihm die Aufgabe: aus den Beschreibungen eine Benutzeroberfläche zu generieren großer synthetischer Datensatz SwiftUI-Code.
Jede Ausgabe, die durch den Compiler geleitet wird Swiftum zu überprüfen, ob es funktioniert, und dann durch ein multimodales Modell analysiert GPT-4V, bei dem das visuelle Erscheinungsbild der Anwendung mit der ursprünglichen Spezifikation verglichen wurde. Inkonsistente oder doppelte Beispiele wurden entfernt und die verbleibenden Beispiele zur Feinabstimmung des Modells verwendet.
Iterative Verbesserung und eine Million Beispiele
Der gesamte Prozess wurde in mehreren Runden wiederholt, wobei jedes verbesserte Modell noch besserer CodeNach fünf Iterationen war das Ergebnis 996 SwiftUI-Programme, die für das abschließende Training von UICoder verwendet wurden. Der in den Tests übertraf das Originalmodell und in vielerlei Hinsicht kam es der Qualität nahe. GPT-4 – wurde sogar noch in Bezug auf den Erfolg bei der Zusammenstellung übertroffen.
Fotogalerie
Interessanterweise ist der ursprüngliche StarChat-Beta fast keine SwiftIch habe den UI-Code nie gesehen. Aufgrund eines Fehlers beim Erstellen des TheStack-Datensatzes Swift versehentlich ausgelassene Repositories und im OpenAssistant-Guanaco-Befehlssatz gab es nur ein einziges Beispiel Swiftbereits zehntausend Antworten. Dies bedeutet, dass der Erfolg von UICoder nestnicht auf auswendig gelernten Beispielen, sondern auf völlig neu erstellten und sorgfältig gefilterten Daten.
Möglichkeit einer breiteren Nutzung
Apple glaubt, dass diese Methode – Codegenerierung, automatische Codeüberprüfung und iterative Verbesserung – auch für andere Programmiersprachen und UI-Frameworks.Studie UICoder: Feinabstimmung groß Language Models zum Generieren von Benutzeroberflächencode durch automatisiertes Feedback ist bereits auf arXiv verfügbar und zeigt, dass KI sich selbst effektiv etwas beibringen kann, wenn sie das richtige Feedback erhält.
Dieser Ansatz könnte die Anwendungsentwicklung revolutionieren – von schnellerem Prototyping bis hin zur vollautomatisierten Generierung kundenspezifischer Benutzeroberflächen.
Dilemma .. wenn ich meinen Code auf GitHub veröffentliche, oder Copilot mir Codes von GitHub liefert. Wer ist der Autor? :-)