AI を使って、声でパソコンを操作する方法

先週のイベントで集めたリードのスプレッドシートがあり、1件ずつ CRM に入れなければなりません。コピーと貼り付けで1時間かかる作業です。あるいは、パソコンを操作できる AI に一文で頼むだけの作業です。

Incredible なら、キーを押し続けてやるべきことを言えば、クリックと入力は Incredible が引き受けます。上の録画では、声で1回頼んだだけで、イベントで集めたリードのスプレッドシートをもとに、ブラウザ上の CRM へすべてのリードを入力し、1件ごとに Create lead をクリックしています。

何を言うか

Mac では fn キー、Windows では Ctrl と Space を押し続けて、タスク全体を言います。

「このスプレッドシートのリードを全部見て、CRM に反映してくれる？　詳細を全部入力して、create lead をクリックして」

キーを離すと、Incredible が作業を始めます。録画では、これから何をするかを声で答え、CRM のタブでリストを順に処理し、最後に「18件のリードはすべて CRM に入りました。1件ずつ確認済みで、パイプラインの金額もスプレッドシートと完全に一致しています」と締めくくります。

長くやり取りするときは、Hands-free モードをオンにします。Mac では fn と Space、Windows では Ctrl、Alt、Space です。キーを押し続けなくても、話し続けられます。

話したあとに起きること

あなたと同じものを見ています。話し始めると、Incredible は目の前の画面を見るので、「このスプレッドシート」や「これに返信して」は、あなたが見ているものを指します。アップロードも説明も要りません。

あなた自身のアプリで動きます。あなたのアカウントでログインしたままのブラウザや、ファイル、デスクトップアプリの中でクリックと入力をします。だから、連携機能のない CRM、ポータル、管理画面でも作業できます。Gmail、Slack、Google Calendar などのアプリを連携すれば、その中で直接作業することもできます（アプリを連携する方法）。

声で返事をします。Incredible は、女性か男性か、あなたが選んだ声で、設定した言語で返事をし、同じ返事を画面にも表示します。ミュートにして、読むだけにすることもできます。

あとから頼みごとを足せます。別の録画では、未読メールを確認してもらったあと、「ついでに」と言って、カレンダーの確認、会議、Slack のメッセージを追加しています。Incredible は、頼まれるたびに一つずつ引き受けます。

何かを送る前に確認します。メール、メッセージ、予約は、あなたの OK を待つカードとして表示されます。「いいね、送って」と言うか、Confirm を押します。

何もインストールせずに、声でパソコンを操作できる？

できます。Mac にも Windows PC にも、声で操作するためのツールが最初から入っています。Mac の音声コントロールと、Windows の音声アクセスです。ただし、これらは別の用途のために作られています。手順を1つ言うと、パソコンがその1つの手順を実行します。

Mac の音声コントロール。システム設定の「アクセシビリティ」でオンにします。Apple のガイドには、「メールを開く」「下にスクロール」「完了をクリック」といったコマンドが挙げられています。Apple のアクセシビリティのページによると、Apple Intelligence があれば、音声コントロールは自然な言葉での説明をもとに画面上で操作できるので、正確なラベルを覚える必要はありません。音声コントロールをオンにしているあいだは、macOS の通常の音声入力は使えません。

Windows の音声アクセス。Microsoft のガイドによると、Windows 11 バージョン 22H2 以降で、インターネットに接続しなくても、声だけで PC を操作し、文字を入力できます。コマンドの一覧にあるコマンドを言って、アプリを開いたり、Web を閲覧したり、メールを読んだりします。

Windows の Copilot。「Hey, Copilot」と言って起動し、話しかけることができます。音声での会話中に Copilot Vision が画面を見ることはできますが、Microsoft の Vision のページによると、「クリック、入力、スクロールはしません」。アプリの中で作業するエージェントの Copilot Actions は、まだ Windows Insider に向けて展開中で、オンにできるのは管理者権限のあるユーザーだけです。

デスクトップアプリの ChatGPT Voice。OpenAI の音声機能のページによると、Plus、Pro、Business、Edu、Enterprise で、Chat、Work、Codex の中でアイデアを話し合ったり、タスクを調整したりできます。それらのタスクでは Computer Use を使えますが、利用できるのは特定の地域に限られます。また Windows ではアクティブなデスクトップ上で動くため、あなたが待っているあいだ、ChatGPT がマウスポインタを動かします。Incredible と ChatGPT の違い。

音声コントロール、音声アクセス、Copilot、ChatGPT についての上記の内容はすべて、2026年10月21日に確認した Apple、Microsoft、OpenAI の公式ページにもとづいています。

声でパソコンを操作するなら、どの方法を選ぶべき？

クリックやスクロールの一つひとつまで、パソコン全体を手を使わずに操作する必要があるなら、標準のツールを使いましょう。Mac なら音声コントロール、Windows なら音声アクセスです。無料で、まさにそのために作られていて、Incredible と一緒に使えます。

リードの入力、会議の予約、ファイル探しなど、やるべきことを言って済ませてほしいなら、タスクを実行するアシスタントを使いましょう。Mac に絞った話は声で Mac を操作する方法で、PC については Windows におすすめの AI アシスタントで紹介しています。

声で返事をして、いくつもの用事を一度にこなす音声アシスタントについては、パソコンで使える現実版の Jarvisをご覧ください。話しながら画面に映っているものについて質問したいなら、画面を見られる AIをご覧ください。