GitHub Copilot kini tidak hanya membantu menulis kode, tetapi juga dapat berinteraksi langsung dengan aplikasi desktop melalui fitur Computer Use. Kemampuan yang diperkenalkan dalam public preview pada 1 Oktober 2026 ini memungkinkan Copilot membaca tampilan aplikasi, mengklik tombol, mengetik, menggulir halaman, hingga menjalankan pekerjaan lintas aplikasi. Teknologi kecerdasan buatan tersebut tersedia melalui GitHub Copilot CLI dan aplikasi GitHub Copilot pada Windows serta macOS. Dengan memberikan instruksi yang jelas dan izin akses yang sesuai, pengguna dapat mengotomatiskan berbagai pekerjaan berulang, termasuk pengelolaan dokumen, pembaruan presentasi, dan pemindahan informasi antaraplikasi tanpa harus membuat skrip otomatisasi khusus.
GitHub Copilot Memperkenalkan Computer Use untuk Otomatisasi Desktop
Peluncuran fitur Computer Use menjadi langkah baru dalam pengembangan asisten kecerdasan buatan. Sebelumnya, GitHub Copilot umumnya dikenal untuk mendukung pengembangan perangkat lunak. Melalui kemampuan terbaru, Copilot dapat berinteraksi pada program dengan antarmuka grafis menggunakan arahan yang diberikan pengguna. Teknologi tersebut mendukung AI membaca informasi aplikasi, kemudian mengisi kolom sesuai kebutuhan pengguna. Berkat mekanisme interaksi langsung, tugas yang melibatkan banyak langkah dapat dikerjakan secara lebih efisien tanpa harus membuat otomatisasi manual.
Kemampuan otomatisasi desktop ini dapat digunakan pada GitHub Copilot CLI dan aplikasi GitHub Copilot untuk komputer Windows maupun Mac. Saat pertama diperkenalkan, fitur tersebut berstatus public preview. Kondisi ini menunjukkan bahwa, kemampuan dan perilakunya berpotensi mengalami penyempurnaan berdasarkan perkembangan layanan. Keunggulan yang menonjol adalah dukungan bagi aplikasi lama yang belum mendukung integrasi MCP. Untuk perangkat lunak semacam ini, Copilot mampu menjalankan interaksi visual seperti penggunaan tombol keyboard untuk menjalankan alur operasional. Walaupun fleksibel, pengguna masih perlu memberikan instruksi yang tidak ambigu.
Cara Mengaktifkan Computer Use pada Aplikasi GitHub Copilot
Ketika ingin mencoba Computer Use, pengguna harus mengetahui bahwa perangkat telah memiliki aplikasi Copilot yang sesuai. Sesudah masuk ke aplikasi, akses halaman Settings, kemudian temukan halaman Computer Use. Di dalam halaman pengaturan, ubah menjadi aktif pilihan Enable Computer Use agar alat otomatisasi komputer dapat digunakan. Pada pengaturan awal, fitur ini berada dalam keadaan nonaktif. Mekanisme aktivasi tersebut menyediakan kesempatan menentukan izin kepada pengguna sebelum AI berinteraksi dengan aplikasi. Dengan demikian, pengguna dapat menentukan kapan fitur otomatisasi diperlukan.
Pada komputer Mac, pengaturan tambahan perlu dipenuhi agar Computer Use mampu berinteraksi dengan aplikasi lokal. Persyaratan akses ini terdiri atas Accessibility dan Screen Recording. Accessibility digunakan untuk berinteraksi dengan elemen antarmuka, sedangkan Screen Recording mendukung pembacaan tampilan. Pengguna dapat mengikuti arahan pada halaman Computer Use. Sementara itu, proses pengaktifan tersedia pada menu Computer Use tanpa persyaratan izin macOS tersebut. Namun demikian, akses terhadap aplikasi tetap mengikuti pengaturan izin.
Cara Mengaktifkan Computer Use dengan Perintah Terminal
Selain melalui aplikasi grafis, Computer Use bisa diaktifkan melalui GitHub Copilot CLI. Bagi pengembang yang menggunakan terminal, metode aktivasi ini memberikan pengaturan yang langsung. Setelah menjalankan sesi Copilot CLI yang mendukung fitur tersebut, pengguna bisa memasukkan perintah `/computer on` untuk mengaktifkan kemampuan interaksi desktop. Untuk mengetahui status fitur, gunakan perintah `/computer show`. Jika otomatisasi sudah tidak diperlukan, perintah `/computer off` berfungsi menonaktifkan fitur. Dengan pilihan tersebut, pengguna memiliki kendali ketersediaan kemampuan desktop sesuai jenis tugas yang sedang dijalankan.
Ketika fitur sudah tersedia, pengguna dapat memberikan instruksi dalam bahasa alami. Sebagai contoh, pengguna bisa menginstruksikan Copilot untuk membuka aplikasi tertentu, kemudian membaca informasi yang muncul. Apabila tugas melibatkan perubahan, Copilot berpotensi melakukan pengetikan teks setelah pengguna menyetujui tindakan yang diminta. Untuk memperoleh hasil terbaik, tentukan batasan pekerjaan secara mudah dipahami. Sebagai ilustrasi, pengguna dapat menyampaikan permintaan untuk memperbarui bagian tertentu dalam presentasi dengan ketentuan pekerjaan yang ditentukan. Instruksi terarah tersebut berpotensi meminimalkan perubahan di luar tujuan.
Contoh Otomatisasi Pekerjaan Desktop dengan GitHub Copilot
Contoh penggunaan yang relevan adalah penyederhanaan aktivitas desktop yang memerlukan banyak interaksi. Dalam pekerjaan kantor, pengguna dapat menghabiskan waktu untuk memindahkan informasi. Berkat kemampuan interaksi antarmuka, sebagian pekerjaan berulang mampu disederhanakan. Sebagai contoh, Copilot bisa diminta membuka aplikasi laporan pengeluaran, kemudian membaca data yang tersedia. Setelah mendapatkan otorisasi, sistem dapat melanjutkan pembaruan kolom tertentu. Melalui alur tersebut, pekerjaan yang biasanya membutuhkan banyak klik berpotensi menjadi lebih efisien.
Fitur ini juga bermanfaat bagi organisasi yang memiliki perangkat lunak konvensional. Sejumlah sistem perusahaan mendukung otomatisasi melalui terminal. Kondisi tersebut sering membuat pengembangan skrip lebih kompleks. Melalui kemampuan membaca layar, Copilot dapat mencoba menjalankan aktivitas dengan kontrol aplikasi langsung. Pada contoh pekerjaan, pengguna memiliki pilihan memberikan tugas untuk memeriksa status dalam sistem lama. Meski mampu membantu pekerjaan GUI, ketepatan tindakan perlu mempertimbangkan respons aplikasi yang menjadi sasaran pekerjaan.
Pengawasan Pengguna Penting dalam Otomatisasi Berbasis AI
Meski kemampuan AI semakin berkembang, pengamanan akses aplikasi tetap menjadi prioritas utama. Apabila sistem otomatisasi menggunakan aplikasi desktop, informasi yang terlihat dapat menjadi bagian dari informasi yang dibaca sistem. Oleh sebab itu, pengguna perlu meninjau ruang lingkup kontrol desktop. Layanan otomatisasi tersebut meminta persetujuan sebelum mengendalikan aplikasi sesuai aturan kontrol sesi. Berkat proses persetujuan, pengguna bisa mengizinkan tindakan berdasarkan kebutuhan pekerjaan.
Tidak hanya menyediakan otorisasi langsung, GitHub Copilot mendukung pengaturan Always allow untuk program yang telah dipercaya. Melalui pilihan tersebut, Copilot berpotensi mengendalikan kembali aplikasi yang dimasukkan ke daftar izin tanpa selalu meminta konfirmasi baru. Walaupun lebih praktis, penyimpanan otorisasi aplikasi harus dipertimbangkan secara cermat, terutama untuk aplikasi keuangan. Pengguna dapat meninjau otorisasi yang telah disimpan dan menghapus akses sesuai kebijakan organisasi. Tidak kalah relevan, proses otomatisasi yang berjalan bisa diinterupsi melalui tombol Stop atau tombol Esc sesuai antarmuka yang digunakan. Berkat pengawasan aktif, pengguna tetap memiliki kendali.
Otomatisasi Desktop GitHub Copilot Membuka Peluang Produktivitas
Kehadiran Computer Use memperlihatkan kemajuan baru GitHub Copilot dari asisten pemrograman menuju otomatisasi aplikasi desktop. Berkat akses terhadap konten aplikasi, Copilot mampu mendukung pengisian data menggunakan instruksi bahasa alami. Kemampuan ini memiliki potensi pada aplikasi tanpa API yang belum mendukung integrasi modern. Namun demikian, penerapan sebaiknya disertai penjelasan tugas yang jelas agar hasil tetap sesuai kebutuhan.
Pada era otomatisasi digital modern, teknologi computer use mampu menghadirkan pendekatan baru dalam pekerjaan kantor. Walaupun kemampuan tersebut terus berkembang, kemungkinan perubahan data yang tidak diinginkan tetap perlu diperhitungkan. Penyedia Copilot menjelaskan bahwa computer use belum keluar dari tahap pratinjau publik. Agar penggunaan lebih efektif, berikan instruksi yang spesifik dan tinjau perubahan yang dibuat. Menurut pengalaman Anda, apakah teknologi interaksi komputer otomatis mampu mengurangi pekerjaan berulang pada masa mendatang? Anda dapat berbagi pengalaman mengenai fitur Computer Use.
