Kami mengumpulkan pendanaan pre-seed $2,7 juta. Baca pengumumannyaKami mengumpulkan pendanaan pre-seed $2,7 juta →

AI yang bisa melihat layar Anda dan menjawab pertanyaan (2026)

AI mana yang bisa melihat layar Anda dan menjawab pertanyaan tentangnya: Incredible, Siri AI, ChatGPT, dan Copilot Vision, cara mengaktifkan masing-masing, dan mana yang kemudian mengerjakan tugasnya.

Emil WagmanCTO

Jawaban singkat

Ada. Incredible, di Mac dan Windows, melihat apa yang ada di layar Anda selama Anda menahan tombolnya, menjawab pertanyaan Anda tentang isi layar itu, lalu bisa mengerjakan tugasnya di aplikasi tersebut. Siri AI di Mac, aplikasi desktop ChatGPT, dan Microsoft Copilot Vision di Windows juga bisa melihat layar Anda dan menjawab pertanyaan tentangnya.

Gratis selama 7 hari. Mac dan Windows.

Anda sedang melihat email yang perlu dibalas, dan hal terakhir yang Anda inginkan adalah menyalinnya ke chat lalu menjelaskan siapa Anna. AI yang bisa melihat layar Anda melewati langkah itu.

Sekarang sudah ada beberapa. Incredible adalah yang kemudian bisa mengerjakan tugasnya di aplikasi yang sedang dilihatnya. Tahan tombolnya dan katakan “balas ini”, lalu Incredible menulis balasannya di email Anda dan bertanya dulu sebelum mengirimnya. Rekaman di atas menunjukkan Incredible membaca desain kartu yang terbuka di Figma dan mendaftar apa saja yang perlu diperbaiki.

Apa yang Anda katakan kepada Incredible

Bilah suara Incredible di bagian atas layar Mac yang menampilkan kalimat Hey Incredible, what's on my screen right now?
Tahan tombolnya dan tanyakan kepada Incredible apa yang ada di layar Anda.

Saat Anda mengaktifkannya, Incredible melihat halaman atau dokumen di depan Anda. Anda menahan tombol bicara (fn di Mac, Ctrl dan Space di Windows) lalu berbicara tentang apa yang ada di sana:

“Apa yang ada di layar saya sekarang?”

“Balas ini dan bilang Kamis bisa.”

Yang pertama mendapat jawaban. Yang kedua langsung dikerjakan.

Untuk memilih dengan tepat apa yang dilihatnya, ⌥ X mengambil tangkapan layar Anda dan ⌥ C mengambil teks yang dipilih atau sebuah file untuk permintaan Anda berikutnya (Alt di Windows). Panduan Pintasan keyboard mendaftar semuanya.

Incredible melihat apa yang ada di layar dan langsung lanjut bekerja: di sini Incredible mengisi invoice yang sedang terbuka.

Cara membiarkan AI melihat layar Anda

Kedua tombol Command membuka aplikasi Gemini bersama jendela yang sedang Anda lihat. Video: Google.

Masing-masing punya tombol atau tombol layar sendiri, dan tidak ada yang melihat sebelum Anda meminta:

  1. Incredible (Mac dan Windows): tahan fn di Mac, atau Ctrl dan Space di Windows, lalu bertanya. Incredible melihat halaman atau dokumen di depan Anda selama Anda berbicara.
  2. ChatGPT (Mac dan Windows): di aplikasi desktop, tekan kedua tombol Command di Mac untuk mengirim jendela paling depan ke chat sebagai appshot.
  3. Siri AI (Mac): tanyakan kepada Siri tentang apa yang ada di layar Anda. Siri AI membutuhkan macOS 27 dan Mac dengan M1 atau yang lebih baru.
  4. Copilot Vision (Windows): mulai sesi Copilot dan bagikan jendela yang ingin Anda tunjukkan.
  5. Gemini (Mac): di aplikasi desktop Google, tekan kedua tombol Command untuk membagikan apa yang ada di layar Anda (Google). Gemini membutuhkan Mac dengan Apple Silicon dan macOS Sequoia atau yang lebih baru.

AI apa lagi yang bisa melihat layar saya?

MacBook yang menampilkan newsletter di Mail dengan sebuah gambar terpilih dan menu berisi Ask Siri, Image Search, dan Look Up Nutrition
Opsi Ask Siri pada gambar yang dipilih di newsletter Mail, di macOS 27. Gambar: Apple.

Siri AI di Mac, sejak macOS 27. Panduan Apple menyebutkan Siri AI bisa “memanfaatkan Visual Intelligence untuk mengajukan pertanyaan, mengambil tindakan, dan mencari berdasarkan apa yang ada di layar Mac Anda”. Siri AI membutuhkan Mac dengan M1 atau yang lebih baru dan untuk awalnya berupa beta dalam bahasa Inggris.

ChatGPT menyebutnya Appshots: tekan kedua tombol Command di aplikasi desktop dan ChatGPT mendapatkan jendela paling depan sebagai gambar dan teks. Membuat ChatGPT kemudian mengeklik di aplikasi itu adalah fitur terpisah, Computer Use. Perbandingan Incredible dengan ChatGPT.

Copilot Vision di Windows memungkinkan Anda membagikan sebuah jendela selama sesi. Microsoft menyebutkan Copilot Vision “tidak mengeklik, memasukkan teks, atau menggulir atas nama Anda” (Microsoft).

IncredibleSiri AIChatGPTCopilot Vision
Lalu mengerjakan tugasnya di aplikasi ituYaMengambil tindakan di aplikasi AppleMelalui Computer Use, fitur terpisahTidak, hanya memandu Anda
Mac dan WindowsKeduanyaMacKeduanyaWindows

Coba sekarang. Buka email apa saja, tahan tombolnya, lalu katakan: “Balas ini dan bilang Kamis pukul 10.00 bisa.” Incredible gratis selama 7 hari. Unduh, atau baca dulu Mulai cepat.

Khusus untuk Mac, lihat AI terbaik untuk Mac di 2026. Untuk AI yang juga mengerjakan tugasnya setelah melihat layar, lihat agen AI yang bisa memakai komputer Anda dan cara mengendalikan komputer Anda dengan suara.

Pertanyaan yang sering diajukan

Apakah ada AI yang bisa melihat layar saya?

Ada. Incredible, di Mac dan Windows, melihat apa yang ada di layar Anda selama Anda menahan tombolnya, menjawab pertanyaan Anda tentang isi layar itu, lalu bisa mengerjakan tugasnya di aplikasi tersebut. Siri AI di Mac, aplikasi desktop ChatGPT, dan Microsoft Copilot Vision di Windows juga bisa melihat layar Anda dan menjawab pertanyaan tentangnya.

Bisakah AI melihat layar saya lalu mengerjakan tugasnya untuk saya?

Sebagian bisa. Microsoft menyebutkan Copilot Vision menjawab dan memandu, tetapi tidak mengeklik atau mengetik untuk Anda. Incredible melihat halaman atau dokumen di depan Anda saat Anda mengaktifkannya, lalu bisa mengerjakan tugasnya di aplikasi tersebut, misalnya “balas ini”.

Apakah ada AI yang bisa membaca layar saya dan menjawab pertanyaan tentangnya?

Ada. Tanyakan kepada Incredible “apa yang ada di layar saya?” atau ajukan pertanyaan tentang email, formulir, atau dokumen di depan Anda, dan Incredible menjawab berdasarkan apa yang dilihatnya. Siri AI, appshot ChatGPT, dan Copilot Vision juga menjawab pertanyaan tentang layar Anda. Incredible dan Siri AI kemudian bisa bertindak; Copilot Vision hanya memandu.

Apakah AI yang melihat layar saya merekamnya terus-menerus?

Periksa kapan masing-masing melihat. Siri AI melihat saat Anda bertanya tentang layar Anda, ChatGPT saat Anda mengambil appshot, Copilot Vision selama Anda membagikan sebuah jendela, dan Incredible saat Anda mengaktifkannya.

Bagaimana cara membiarkan ChatGPT melihat layar saya di Mac?

Di aplikasi desktop ChatGPT, tekan kedua tombol Command untuk mengambil appshot. Appshot mengirim jendela paling depan ke chat, sebagai gambar dan bersama teks yang disediakan aplikasi tersebut.

Foto Emil Wagman

Ditulis oleh

Emil Wagman

CTO di Incredible · LinkedIn

ChatGPT menuliskannya. Incredible mengerjakannya.

Incredible mengeklik dan mengetik di browser, file, dan aplikasi Anda, persis seperti Anda.

Membutuhkan macOS 13 atau Windows 10, atau yang lebih baru.