Microsoft представила новую функцию для Copilot, позволяющую сканировать веб-страницы

Компания Microsoft значительно улучшила функциональность своего ИИ-помощника Copilot, добавив новую опцию под названием Copilot Vision. Эта функция, как сообщает издание The Verge, предоставляет пользователям возможность бесплатно анализировать и интерпретировать содержимое веб-страниц прямо в браузере Edge. Генеральный директор Microsoft AI Мустафа Сулейман поделился новостью на платформе Bluesky.

Copilot Vision функционирует как «разговорный интерфейс», что позволяет пользователям взаимодействовать с ИИ с помощью голосовых команд. ИИ отвечает, основываясь на визуальной информации, которую он видит на экране. Сулейман отметил, что при активации функции Copilot Vision будет «видеть» то, что отображается на экране у пользователя. В качестве примеров использования этой функции он привел помощь в следовании рецептам во время готовки или интерпретацию описаний вакансий для подготовки к собеседованиям.

Важно отметить, что, согласно информации на странице поддержки Microsoft, Copilot Vision может выделять определенные области экрана для поиска нужной информации, однако он не выполняет клики по ссылкам и не совершает действия от имени пользователя. Более продвинутые функции Copilot Vision на данный момент доступны только подписчикам Copilot Pro. С подпиской Vision возможности ИИ расширяются за пределы Edge, позволяя ему помогать в работе с такими программами, как Photoshop и видеоредакторы, а также предоставлять советы в играх, таких как Minecraft.

Компания подчеркивает, что она фиксирует ответы Copilot, но не собирает пользовательские запросы, изображения или контент страниц во время сеанса Copilot Vision. Пользователи могут в любой момент прекратить совместное использование экрана, завершив сеанс или закрыв окно браузера.