GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop
Pengenalan fitur Computer Use menghadirkan langkah baru dalam pengembangan asisten kecerdasan buatan. Dalam penggunaan yang lebih dikenal, GitHub Copilot umumnya dikenal untuk mendukung pengembangan perangkat lunak. Berkat perluasan fungsi tersebut, Copilot dapat berinteraksi pada program dengan antarmuka grafis menggunakan perintah berbentuk percakapan. Kemampuan tersebut mendukung AI memahami konteks visual, kemudian mengisi kolom sesuai kebutuhan pengguna. Berkat mekanisme interaksi langsung, tugas yang melibatkan banyak langkah dapat dikerjakan secara lebih efisien tanpa bergantung sepenuhnya pada pengoperasian pengguna.
Computer Use diperkenalkan melalui GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Saat pertama diperkenalkan, fitur tersebut masih berada dalam pengembangan terbuka. Kondisi ini menunjukkan bahwa, kemampuan dan perilakunya masih dapat berubah berdasarkan perkembangan layanan. Nilai tambah penting adalah kemampuan menangani perangkat lunak konvensional yang tidak memiliki antarmuka perintah. Untuk perangkat lunak semacam ini, Copilot berpotensi memanfaatkan interaksi visual seperti navigasi menu untuk menyelesaikan tugas. Meski menawarkan kemudahan, fitur ini tetap membutuhkan instruksi yang tidak ambigu.
Panduan Menyalakan Fitur Computer Use di Windows dan macOS
Sebelum menggunakan Computer Use, pengguna sebaiknya memeriksa bahwa GitHub Copilot sudah terpasang. Setelah aplikasi dibuka, pilih bagian pengaturan aplikasi, kemudian pilih kategori Computer Use. Melalui panel yang tersedia, nyalakan pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Dalam kondisi standar, fitur ini memerlukan aktivasi pengguna. Pengaturan awal ini menyediakan perlindungan tambahan kepada pengguna sebelum AI berinteraksi dengan aplikasi. Melalui proses tersebut, pengguna bisa mengatur kapan fitur otomatisasi diperlukan.
Bagi pengguna macOS, persyaratan akses khusus menjadi bagian dari aktivasi agar Computer Use bisa berfungsi dengan perangkat lunak desktop. Persyaratan akses ini terdiri atas Accessibility dan Screen Recording. Izin Accessibility memungkinkan berinteraksi dengan elemen antarmuka, sedangkan Screen Recording memungkinkan pemeriksaan konteks visual. Pengguna dapat mengikuti langkah izin dari macOS. Di sisi lain, proses pengaktifan dilakukan melalui menu Computer Use tanpa langkah pemberian izin Screen Recording khas macOS. Meski Windows memiliki mekanisme tersendiri, kendali atas perangkat lunak tetap mengikuti pengaturan izin.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Tidak hanya menggunakan menu pengaturan, Computer Use tersedia melalui GitHub Copilot CLI. Pengguna yang terbiasa antarmuka perintah, metode aktivasi ini menghadirkan pengaturan yang langsung. Setelah menjalankan sesi Copilot CLI yang sesuai dengan persyaratan layanan, pengguna dapat mengetik perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Apabila ingin memeriksa status fitur, gunakan perintah `/computer show`. Sebaliknya, perintah `/computer off` berfungsi menghentikan ketersediaan Computer Use. Dengan pilihan tersebut, pengguna dapat mengatur kapan otomatisasi aktif sesuai jenis tugas yang sedang dijalankan.
Setelah Computer Use aktif, pengguna bisa menuliskan instruksi dalam bahasa alami. Sebagai contoh, pengguna memiliki pilihan mengarahkan Copilot untuk membuka aplikasi tertentu, kemudian memeriksa tampilan perangkat lunak. Jika instruksi mencakup pengolahan informasi, Copilot mampu menjalankan pengetikan teks setelah akses aplikasi disetujui. Agar proses berjalan lebih terarah, sebutkan aplikasi yang terlibat secara terperinci. Dalam sebuah skenario, pengguna bisa memberikan permintaan untuk memperbarui bagian tertentu dalam presentasi dengan ketentuan pekerjaan yang ditentukan. Pendekatan ini dapat membatasi interaksi yang tidak diperlukan.
Pemanfaatan AI untuk Menjalankan Pekerjaan Lintas Aplikasi
Salah satu penerapan utama adalah penyederhanaan aktivitas desktop yang mengandalkan perangkat lunak berbeda. Untuk aktivitas profesional, pengguna dapat menghabiskan waktu untuk memeriksa data secara manual. Melalui Computer Use, sebagian pekerjaan berulang berpotensi diotomatisasi. Sebagai contoh, Copilot bisa diminta membuka aplikasi laporan pengeluaran, kemudian membaca data yang tersedia. Dengan persetujuan yang sesuai, sistem dapat melanjutkan pengisian formulir. Melalui alur tersebut, pekerjaan yang biasanya membutuhkan banyak klik mampu diselesaikan dengan bantuan otomatisasi.
Kemampuan tersebut memiliki nilai tambah bagi organisasi yang memiliki perangkat lunak konvensional. Sebagian perangkat lunak bisnis menyediakan API modern. Situasi semacam ini sering membuat otomatisasi lebih sulit. Melalui kemampuan membaca layar, Copilot mampu membantu menyelesaikan pekerjaan menggunakan elemen grafis. Sebagai ilustrasi, pengguna dapat meminta untuk memeriksa status dalam sistem lama. Walaupun menawarkan fleksibilitas, kelancaran interaksi perlu mempertimbangkan desain antarmuka yang digunakan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meskipun Computer Use menawarkan kemudahan, perlindungan informasi pengguna merupakan bagian penting. Saat AI mengendalikan program pada komputer, data dalam jendela dapat menjadi bagian dari konteks pemrosesan AI. Karena itu, pengguna sebaiknya membatasi aplikasi yang diberikan izin. Layanan otomatisasi tersebut menerapkan mekanisme izin sebelum mengendalikan aplikasi sesuai kebijakan penggunaan. Melalui pengaturan ini, pengguna memiliki kesempatan membatasi tindakan berdasarkan tingkat sensitivitas aplikasi.
Di samping persetujuan setiap sesi, GitHub Copilot juga menawarkan pengaturan Always allow untuk aplikasi yang sering digunakan. Jika opsi ini diaktifkan, Copilot memiliki akses berkelanjutan sesuai pengaturan aplikasi yang dimasukkan ke daftar izin tanpa mengulang seluruh proses persetujuan. Meski mempermudah penggunaan berulang, penggunaan Always allow sebaiknya dibatasi, terutama untuk perangkat lunak bisnis sensitif. Melalui halaman Computer Use, pengguna bisa mengelola pengaturan Always allowed apps dan menghapus akses sesuai kebutuhan keamanan. Sebagai tindakan penting, operasi yang sedang berlangsung dapat dihentikan melalui tombol Stop atau tombol Esc sesuai dukungan sesi. Berkat pengawasan aktif, otomatisasi dapat dihentikan ketika diperlukan.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Pengenalan Computer Use menandai kemajuan baru GitHub Copilot dari asisten pemrograman menuju otomatisasi aplikasi desktop. Berkat akses terhadap konten aplikasi, Copilot dapat membantu pengisian data menggunakan instruksi bahasa alami. Pendekatan otomatisasi tersebut memiliki potensi pada perangkat lunak lama yang membutuhkan interaksi manual. Walaupun memberikan kemudahan, pengoperasian masih membutuhkan persetujuan akses agar proses berjalan secara terkendali.
Dalam perkembangan TEKNOLOGI, otomatisasi melalui antarmuka visual mampu menghadirkan pendekatan baru dalam pekerjaan kantor. Meski otomatisasi menjadi lebih mudah, risiko salah klik harus menjadi perhatian. Penyedia Copilot menjelaskan bahwa computer use belum keluar dari tahap pratinjau publik. Supaya otomatisasi lebih terarah, jelaskan aplikasi yang terlibat dan tinjau perubahan yang dibuat. Apa pendapat Anda, apakah otomatisasi desktop berbasis AI mampu mengurangi pekerjaan berulang pada masa mendatang? Anda dapat berbagi pengalaman mengenai perkembangan otomatisasi berbasis AI.
