GitHub Copilot, masaüstü uygulamalarıyla etkileşime geçen computer use özelliğini public preview olarak sundu

Computer use public preview'da

GitHub Copilot'da computer use özelliği public preview olarak kullanıma sunuldu. Özellik, GitHub Copilot CLI'da ve GitHub Copilot uygulamasında kullanılabiliyor. Computer use, macOS ve Windows üzerinde çalışıyor.

Copilot masaüstü uygulamalarıyla nasıl etkileşime giriyor?

Copilot, kullanıcı adına masaüstü uygulamalarıyla etkileşime girebiliyor. Bu kapsamda erişilebilir uygulama içeriğini ve görsel bağlamı okuyabiliyor. Copilot ayrıca kontrollere tıklayabiliyor, metin girebiliyor ve düzenleyebiliyor, tuşlara basabiliyor, kaydırma ve sürükleme yapabiliyor. Copilot, uygulamalar arasında iş akışlarında gezinebiliyor.

Bu yetenek, API, komut satırı arayüzü veya MCP entegrasyonu sunmayan legacy ve yalnızca GUI yazılımlarındaki iş akışlarının otomatikleştirilmesini kapsıyor.

Kullanıcı kontrolü ve izinler

Copilot, bir uygulamayı kontrol etmeden önce onay istiyor. Kullanıcılar her zaman izin verilen uygulamaları inceleyebiliyor veya sıfırlayabiliyor. macOS'ta computer use, gerekli Accessibility ve Screen Recording izinleri boyunca kullanıcıya rehberlik ediyor. Kuruluş tarafından yönetilen ayarlar bu özelliği devre dışı bırakabiliyor.

Nasıl etkinleştirilir?

Copilot CLI'da computer use'u etkinleştirmek için /computer on komutu çalıştırılıyor. Durumu kontrol etmek için /computer show, devre dışı bırakmak için /computer off komutu kullanılıyor.

GitHub Copilot uygulamasında computer use'u etkinleştirmek için Settings açılıyor, Computer Use seçiliyor ve Enable Computer Use açılıyor. GitHub Copilot uygulamasında da /computer on komutu kullanılabiliyor.

Kullanım örnekleri

GitHub Changelog'a göre computer use, istenen sonucu, ilgili uygulamaları ve önemli kısıtları tanımladığınızda en iyi çalışıyor. Örneğin Copilot'tan bir tarayıcıdaki bildirimleri özetlemesi istenebiliyor. Copilot'tan bir masaüstü uygulamasındaki iş akışı boyunca bilgi taşıması da istenebiliyor.