Copilot Visionとは

Copilot Vision（コパイロット・ビジョン）とは、AIがパソコンやスマホで開いている画面の内容を見ることで、その内容についてサポートする機能のことです。
Copilotは、現在開いているWebページやPDF、ドキュメント、図表、エラーメッセージなどの内容を認識し、要約や解説を行います（例:「このグラフの意味を説明して」「この英文を日本語で要約して」など）

AIがユーザーに代わってクリックや入力を行う操作（エージェント機能）はできませんが、「画面右上にある[新規作成]ボタンをクリックしてください」といった具体的な指示をもとに、画面上の該当箇所をハイライトしながらガイドしてくれます。画像やスクリーンショットを認識し、画像内の文字をテキストデータ化(OCR)することもできます。

Copilot Visionの使い方

1. Copilotアプリを起動し、設定画面を開きます。
2. [音声モード]欄の[Copilot Vision]のトグルスイッチをオンにします。
   
3. AIに見せたい画面(アプリ、Webページ、ドキュメントなど)を表示しておきます。
4. 設定を有効にした後、フローティングツールバーの[メガネ]アイコンをクリックして見せたい画面の[共有]をクリックします。
   ※[＋]をクリックしてスクリーンショットを撮ったり、画像のアップロードもできます。
   
5. AIにマイクに向かって質問するか、プロンプトの入力欄に質問を入力し送信します。
   (例:「作成」はどこからするの？」「エラーの原因は何？」など)
6. AIがユーザーの質問に対し、画面の内容を認識した上で回答します。
   操作ガイドの場合は、画面上の該当+箇所をハイライト表示します。