Codex Computer Use auf einem Intel-Mac lässt sich mit unserem Open-Source-Plugin Computer Use (Intel) nutzen. Version 1.3 verbindet die Codex-App mit nativen macOS-Werkzeugen: Der Assistent kann den Bildschirm erfassen, Bedienelemente lesen, klicken und Text eingeben. Neu sind eine nachvollziehbare Umrechnung zwischen Bild- und Klickkoordinaten sowie ein Werkzeug, das eine Aktion mit einer anschließenden Zustandsprüfung verbindet. Das schafft eine bessere Grundlage für die Zusammenarbeit mit GPT-6 Astra – auch an einem Mac mit nur einem Bildschirm.
Wir haben die Version auf unserem Intel-Mac gebaut, installiert und mit einem eigenen Testfenster geprüft. Der Quellcode, die nativen Intel-Helfer und ein Installationspaket stehen als Computer Use (Intel) 1.3.0 auf GitHub bereit. In diesem Beitrag erklären wir, was das Codex-Plugin leistet, wie die Installation funktioniert und welche Verbesserungen im Alltag tatsächlich einen Unterschied machen können.
Was ist Computer Use für Codex auf dem Mac?
Computer Use bezeichnet die Bedienung einer grafischen Oberfläche durch ein KI-Modell. Der Assistent bekommt beispielsweise einen Screenshot, erkennt ein Eingabefeld und fordert eine passende Aktion an. Ein Werkzeug führt diese Aktion auf dem Rechner aus und liefert Informationen über das Ergebnis zurück. Auf diese Weise werden auch Anwendungen erreichbar, deren Funktionen nicht vollständig über eine API oder die Kommandozeile zugänglich sind.
Unser Plugin stellt dafür einen lokalen MCP-Server bereit. MCP ist die Schnittstelle, über die Codex die angebotenen Werkzeuge aufruft. Die eigentliche Mac-Anbindung besteht aus TypeScript und nativen Swift-Helfern für Intel-Prozessoren. Sie nutzt unter anderem macOS Accessibility, CoreGraphics-Ereignisse und Vision OCR zur Texterkennung. Der dokumentierte Funktionsumfang umfasst außerdem Fensterverwaltung, Menüs, Tastatursteuerung und Screenshots mit markierten Bedienelementen.
Damit kann ein Auftrag wie „Lies den aktuellen Dialog, trage diesen Text ein und prüfe anschließend den Feldinhalt“ in einzelne überprüfbare Schritte übersetzt werden. Wo eine geeignete API oder ein Kommandozeilenwerkzeug vorhanden ist, bleibt deren direkte Nutzung häufig sinnvoll. Computer Use ergänzt diese Möglichkeiten um die sichtbare Benutzeroberfläche.
Warum haben wir ein eigenes Intel-Plugin entwickelt?
Ausgangspunkt war eine konkrete Kompatibilitätslücke: Die damals mitgelieferten nativen Helfer liefen auf unserem Intel-Mac nicht. Statt die vorhandene Arbeitsumgebung allein deshalb zu ersetzen, haben wir eine eigene Verbindung zwischen Codex und macOS aufgebaut. Daraus entstand Computer Use (Intel), das als lokales Codex-Plugin eingebunden wird.
Das Projekt ist eine eigenständige Open-Source-Erweiterung und kein offizielles OpenAI-Plugin. Es benötigt OpenAIs separaten nativen Computer-Use-Dienst nicht. Daraus folgt jedoch keine allgemeine Aussage darüber, welche offiziellen Integrationen heute in jeder Codex-Version auf Intel funktionieren: Das hängt vom jeweiligen App-Build und dessen verfügbaren Komponenten ab. Unsere Veröffentlichung beschreibt die überprüfte eigene Lösung.
Die Weiterentwicklung zu Version 1.3 begann mit einer anderen Frage: Wie bekommt ein leistungsfähigeres Modell verlässlichere Informationen über den Mac, den es bedienen soll? Mehr Werkzeuge allein lösen das nicht. Entscheidend ist, ob ein Screenshot eindeutig zu einer Klickposition gehört und ob der Assistent nach einer Eingabe erkennen kann, was tatsächlich passiert ist.
Präzise Bild- und Klickkoordinaten – auch bei nur einem Bildschirm
Ein Screenshot und der macOS-Bildschirm verwenden nicht zwangsläufig dieselben Koordinaten. Ein Bild kann verkleinert sein. Ein Ausschnitt beginnt möglicherweise mitten im Fenster. Bei Retina-Darstellungen unterscheiden sich zudem Bildpixel und logische Bildschirmpunkte. Erkennt das Modell einen Button an Position 200 im gelieferten Bild, ist damit noch nicht gesagt, wo macOS den Klick ausführen muss.
Version 1.3 liefert deshalb die tatsächlichen PNG-Abmessungen, die erfassten Bildschirmgrenzen und eine explizite Umrechnung mit. Vereinfacht gilt für jede Achse: Bildkoordinate mal Skalierungsfaktor plus Ausschnittsversatz ergibt die Bildschirmkoordinate. Das ist schon auf einem einzigen Monitor relevant, sobald Codex einen verkleinerten Screenshot oder einen gezielten Bildausschnitt verwendet.
Ein Beispiel aus unserem Live-Test macht den Zusammenhang greifbar: Ein 600 Punkte breiter Bereich wurde als 400 Pixel breites Bild zurückgegeben. Die Umrechnung musste deshalb einen Faktor von 1,5 berücksichtigen und zusätzlich die Position des Ausschnitts auf dem Bildschirm addieren. Der daraus berechnete Klick traf den vorgesehenen Button; anschließend wurde dessen Wirkung geprüft.
Für kleine Beschriftungen kann Codex einen engeren Ausschnitt anfordern. So lässt sich der relevante Bereich genauer untersuchen, ohne immer den gesamten Desktop zu übertragen. Die Bildantwort fordert die ursprüngliche Detailstufe des gelieferten Bildes an. Bereits beim Verkleinern verlorene Bildinformationen entstehen dadurch allerdings nicht neu.
Vom ausgeführten Klick zum überprüften Ergebnis
Die zweite zentrale Änderung betrifft die Rückmeldung nach einer Aktion. Ein erfolgreich abgesendetes Mausereignis beweist noch nicht, dass ein Button reagiert hat. Ein Fenster kann den Fokus verloren haben; eine Anwendung kann beschäftigt sein; eine Eingabe kann ihr Ziel verfehlen. Für einen brauchbaren Arbeitsablauf muss der Assistent das unterscheiden können.
Ein gemeinsamer Blick auf Bild, App und Bedienelemente
Das neue Werkzeug get_desktop_state kombiniert einen Screenshot mit der Identität der aktiven App und einem kompakten Accessibility-Zustand. Accessibility liefert die von einer Anwendung bereitgestellte Struktur ihrer Bedienelemente, etwa Rollen, Beschriftungen und Feldwerte. Codex kann dadurch sichtbare Bildinformationen mit strukturierten UI-Daten zusammenbringen.
Eine Aktion mit anschließender Beobachtung
act_and_observe führt eine Aktion aus und liefert danach einen frischen Zustand. Zusätzlich kann eine ausdrücklich definierte Accessibility-Zielbedingung geprüft werden: Ist ein bestimmtes Element vorhanden? Ist es verschwunden? Enthält ein Feld exakt den erwarteten Text? Diese Bedingungen machen aus einer bloßen Eingabe einen nachvollziehbaren Prüfschritt.
- Bestätigt: Die angegebene Zielbedingung wurde nach der Aktion gefunden.
- Bereits erfüllt: Das Ziel war schon vorher erreicht; die Eingabe wird übersprungen.
- Beobachtet: Es liegt ein neuer Zustand vor, ohne dass damit automatisch ein fachliches Ziel bestätigt ist.
- Zeitüberschreitung oder Fehler: Der gewünschte Zustand konnte nicht rechtzeitig bestätigt werden oder ein Schritt schlug fehl.
Ein Beobachtungsfehler führt dabei nicht automatisch zu einer erneuten Eingabe. Das ist beispielsweise bei einem Dialog wichtig, dessen Button nach dem ersten Klick seine Bedeutung verändert. Statt unkontrolliert ein zweites Mal zu klicken, erhält Codex eine Rückmeldung, auf deren Grundlage es den nächsten Schritt entscheiden kann.
Wie das Plugin mit veralteten Screenshots umgeht
Bildbasierte Aktionen verwenden kurzlebige Screenshot-Referenzen. Sie verfallen nach 120 Sekunden und werden nach einer Eingabe durch denselben Server ungültig. Vor einem Klick werden außerdem die aktive App und die Bildschirmkonfiguration mit der Aufnahme abgeglichen. Die Desktop-Aufrufe innerhalb eines Serverprozesses laufen nacheinander ab.
Diese Prüfungen reduzieren bestimmte Verwechslungen, erkennen aber nicht jede Veränderung. Wenn ein Mensch parallel klickt oder eine Anwendung ihren Inhalt innerhalb desselben Fensters selbst verändert, kann eine neue Beobachtung erforderlich sein. Auch mehrere unabhängige Serverprozesse werden damit nicht zu einer gemeinsamen globalen Warteschlange. Für konzentrierte Desktop-Aufgaben bleibt es sinnvoll, gleichzeitige manuelle Eingaben zu vermeiden.
Was GPT-6 Astra von der neuen Version hat
Ein leistungsfähiges Modell kann eine Oberfläche nur so gut bedienen, wie seine Informationen und Werkzeuge es zulassen. Die Kombination aus eindeutigen Bildkoordinaten, gezieltem Accessibility-Kontext und überprüfbaren Ergebnissen gibt Astra eine bessere Entscheidungsgrundlage. Der Assistent kann erkennen, welches Fenster gemeint ist, eine passende Eingabe wählen und anschließend deren Wirkung beurteilen.
OpenAI empfiehlt für Astra eine Anbindung über Codeausführung und erläutert zugleich, dass vorhandene Funktions- oder MCP-Schnittstellen für UI-Operationen weiterverwendet werden können. Die offizielle Computer-Use-Dokumentation beschreibt diese Integrationsmöglichkeiten. Unser Plugin bleibt entsprechend modellunabhängig; es enthält keine fest verdrahtete GPT-5-Logik und benötigt keine zusätzliche eigene Modell-API-Anbindung.
Version 1.3 verändert weder die Modellauswahl noch die Reasoning-Einstellungen in Codex. Sie erweitert die Werkzeuge, mit denen das jeweils ausgewählte Modell arbeitet. Einen bestimmten Geschwindigkeitsgewinn oder eine allgemeine Erfolgsquote leiten wir daraus nicht ab: Solche Werte müssten mit repräsentativen Aufgaben und klar definierten Vergleichsbedingungen gemessen werden.
Was wir auf unserem Intel-Mac getestet haben
Zur Veröffentlichung gehören 20 bestandene automatisierte Tests und drei erfolgreiche abschließende Live-Durchläufe mit einem isolierten AppKit-Testfenster. Der letzte Durchlauf verwendete die lokal installierte Plugin-Kopie. Dabei wurden die Initialisierung und insgesamt 54 angebotene MCP-Werkzeuge festgestellt. Die Release-Notizen dokumentieren den geprüften Umfang.
Der Live-Test umfasste den Klick aus einem verkleinerten Bildausschnitt, die anschließende Zielprüfung, die Ablehnung einer bereits verbrauchten Bildreferenz und das Überspringen eines schon erfüllten Ziels. Außerdem wurde eine bewusst nicht erfüllte Bedingung bis zur Zeitüberschreitung beobachtet. Eine unabhängige Accessibility-Abfrage bestätigte abschließend den eingegebenen Text Grüße aus Köln – Straße 7 👩💻.
Die gewöhnlichen Klicks und die wörtliche Unicode-Eingabe laufen nun über den nativen HID-Helfer. Die Texteingabe verändert die Zwischenablage nicht. Trotzdem bleibt die Prüfung des Ergebnisses wichtig: Das Absenden eines Ereignisses allein ist keine Zustellgarantie.
Die Laufzeittests fanden auf einem Intel-Mac unter macOS 26.5 mit einem Bildschirm statt. Die mitgelieferten Helfer haben ein macOS-12-Deploymentziel. Ein tatsächlicher Laufzeittest unter macOS 12 und ein Mehrbildschirmtest gehören nicht zu diesem Nachweis. Ebenso wenig belegt ein Testfenster die fehlerfreie Bedienung jeder beliebigen Anwendung.
Computer Use (Intel) installieren
Benötigt werden ein Intel-Mac, eine passende Codex-Desktop-Installation sowie Node.js und cliclick. Die nativen x86_64-Helfer sind im Paket enthalten. Wer sie nicht selbst aus dem Quellcode bauen möchte, kann die mitgelieferten Binärdateien verwenden; eine vollständige Xcode-Installation ist dafür nicht erforderlich. Die aktuellen Einzelheiten stehen in der Installationsdokumentation.
- Lade das ZIP-Paket von Version 1.3.0 herunter und entpacke es.
- Führe im entpackten Verzeichnis das Installationsskript aus.
- Übernimm die vom Skript ausgegebenen, zu deinem Installationspfad passenden Codex-Konfigurationseinträge. Prüfe zusätzlich, dass im Abschnitt
[features]der Datei~/.codex/config.tomlsowohlapps = trueals auchplugins = truegesetzt sind. - Erteile Codex in den macOS-Datenschutzeinstellungen die benötigten Rechte für Bedienungshilfen und Bildschirmaufnahme.
- Starte Codex nach erforderlichen Berechtigungsänderungen vollständig neu und prüfe das Plugin unter Einstellungen → Plugins.
unzip codex-computer-use-intel-v1.3.0.zip
cd codex-computer-use-intel
./install.shStandardmäßig erzeugt der Installer die lokale MCP-Konfiguration und gibt die Marketplace- und Plugin-Einträge aus. Die beiden Feature-Schalter musst du separat prüfen. Führe vorhandene TOML-Abschnitte zusammen, statt dieselben Abschnittsnamen ein zweites Mal anzulegen.
Die Option ./install.sh --write-config kann bei der Erstregistrierung die Marketplace- und Plugin-Einträge anhängen. Ist der lokale Marktplatz bereits eingetragen, lässt sie die Konfiguration unverändert; fehlende oder deaktivierte Plugin-Einträge werden dann nicht automatisch korrigiert. Gleiche in diesem Fall die vorhandenen Einstellungen mit der Anleitung ab. Verwende weiterhin den Pfad des bereits registrierten Marktplatzes: Ein zweiter Checkout aktualisiert eine separat installierte Kopie nicht automatisch.
Nach einer Aktualisierung benötigt ein schon laufender MCP-Prozess gegebenenfalls eine neue Verbindung. Beginne dafür eine neue Codex-Aufgabe; falls nötig, starte die App neu, sobald keine anderen Arbeiten mehr laufen.
Ein sinnvoller erster Auftrag an Codex
Beginne mit einer begrenzten Beobachtungsaufgabe: „Nutze @computer-use-intel. Erfasse den Bildschirm und nenne mir die aktive App sowie die sichtbaren Eingabefelder.“ Danach eignet sich ein eigenes, unkritisches Testfenster für eine kleine Eingabe: „Trage diesen Prüftext ein und bestätige anhand des Feldwerts, dass er vollständig angekommen ist.“
Hilfreich sind Aufträge mit einem klaren Zielzustand. „Prüfe, ob der Dialog geschlossen ist“ lässt sich konkreter beurteilen als „Mach weiter“. Definiere bei größeren Abläufen außerdem, welche Änderungen ausgeführt werden sollen und welche Schritte lediglich beobachtet werden. Das unterstützt sowohl die Planung durch das Modell als auch die anschließende Kontrolle durch den Menschen.
Häufige Fragen zu Codex Computer Use auf Intel-Macs
Ist Computer Use (Intel) ein offizielles OpenAI-Plugin?
Nein. Es ist unsere eigenständige Open-Source-Erweiterung unter MIT-Lizenz. Sie verbindet Codex über MCP mit lokalen macOS-Werkzeugen und ist nicht auf OpenAIs separaten nativen Computer-Use-Dienst angewiesen.
Brauche ich einen zweiten Bildschirm?
Nein. Die überprüfte Konfiguration verwendet einen Bildschirm. Die neue Koordinatenumrechnung ist auch dort relevant, weil Screenshots verkleinert oder als Ausschnitt geliefert werden können.
Funktioniert das Plugin ausschließlich mit GPT-6 Astra?
Nein. Der MCP-Server ist modellunabhängig. Ob und wie gut ein ausgewähltes Modell die verfügbaren Bild- und Werkzeugantworten nutzt, hängt von dessen Fähigkeiten und der Codex-Integration ab.
Laufen durch das lokale Plugin auch alle KI-Berechnungen lokal?
Nein. Die Desktop-Werkzeuge laufen auf dem Mac. Screenshots und ausgelesene UI-Texte können jedoch Teil des Kontexts des ausgewählten Codex-Modells werden. Das Plugin ist keine Zusage für einen vollständig lokalen oder offline arbeitenden KI-Assistenten.
Kann Codex damit einen gesperrten Mac bedienen?
Das Plugin ist für die lokale Bedienung eines entsperrten Macs vorgesehen. Es ist keine Fernentsperrung und ersetzt keine Remote-Control-Lösung. Für Tests muss die aktive Sitzung zugänglich sein.
Quellcode prüfen und Version 1.3 ausprobieren
Computer Use (Intel) 1.3 macht den entscheidenden Übergang zwischen Wahrnehmung, Eingabe und Kontrolle expliziter. Für unseren Intel-Arbeitsplatz bedeutet das: Die bestehende Hardware lässt sich mit Codex weiter für Desktop-Aufgaben nutzen, während das Modell genauere Rückmeldungen über seine Aktionen erhält.
Das GitHub-Repository enthält Quellcode, Werkzeugreferenz, Tests und Installationsanleitung. Im Release 1.3.0 findest du das Downloadpaket und die dokumentierten Grenzen. Beginne mit einem kleinen, überprüfbaren Ablauf auf deinem eigenen Mac und erweitere ihn erst, wenn Bild, Aktion und Ergebnis nachvollziehbar zusammenpassen.
Weitere Beiträge zu unseren Projekten findest du unter Software Neuigkeiten bei Panomity.
0 Kommentare