Новая функция Claude 3.5 «Управление компьютером» запущена: видит экран, кликает мышью и вводит текст — всё более похоже на действия человека

В этом обновлении Claude 3.5 больше всего привлекает внимание возможность «управления компьютером» (Computer Use): он не только ведёт диалог, но и понимает содержимое экрана и имитирует перемещение мыши, клики и ввод с клавиатуры. Для тех, кому нужно прогонять процессы, заполнять формы и выполнять многошаговые действия в программах, Claude 3.5 становится ближе к помощнику, который реально умеет «делать руками».

Что же такое «управление компьютером» у Claude 3.5

Так называемое управление компьютером Claude 3.5 — это возможность для модели, как человек, взаимодействовать с интерфейсом настольных приложений или веб-страниц: сначала распознавать элементы на экране, затем решать, куда переместить курсор, на какую кнопку нажать или какой текст ввести. Это не «прямое чтение данных вашей системы» — действия выполняются на основе предоставленного вами изображения экрана и инструкций.

Официально также подчёркивается, что функция управления компьютером в Claude 3.5 всё ещё находится на стадии открытого тестирования: иногда она может зависать, кликать не туда или работать нестабильно по шагам. Рассматривать её как ускоряющий «полуавтоматический» инструмент реалистичнее, чем ожидать безошибочного выполнения всего процесса с первого раза.

Какие задачи Claude 3.5 сможет заметно ускорить

Когда задача требует десятков повторяющихся кликов, ценность Claude 3.5 становится особенно очевидной, например: поштучный ввод данных в бэк-офисной системе, копирование и вставка между страницами, скачивание/сортировка файлов по заданным правилам, заполнение полей формы по структуре. Если элементы интерфейса достаточно чёткие, а процесс можно переиспользовать, Claude 3.5 часто превращает «ручную работу» в «работу по надзору».

Для команды Claude 3.5 также подходит для проверки процессов: можно заставить его пройти SOP по шагам и быстро выявить, где чаще всего происходят ошибки, на какой странице тексты неясны или где кнопки/подсказки в интерфейсе устроены неудачно.

Как начать использовать управление компьютером Claude 3.5 (взгляд разработчика)

Сейчас возможность управления компьютером в Claude 3.5 в основном ориентирована на разработчиков: в API доступно тестовое подключение, а также можно строить решения на Amazon Bedrock и Google Cloud Vertex AI. Типичный подход — передавать Claude 3.5 «скриншот/состояние интерфейса» вместе с «целью следующего шага», чтобы он выдавал исполняемую последовательность действий клика и ввода.

Практический совет — задавать Claude 3.5 чёткие границы: на каких страницах разрешены действия, как обрабатывать всплывающие окна, а перед критическими действиями — делать повторное подтверждение. Чем выше риск (оплата, отправка заказа, удаление данных и т. п.), тем важнее сохранять этап ручного подтверждения.

То же обновление: Claude 3.5 Sonnet и Haiku тоже стали сильнее

Помимо управления компьютером, Claude 3.5 Sonnet официально позиционируется как «более мощная модель для разработки ПО», особенно усиленная в кодинге и использовании инструментов. Для тех, кто ежедневно пишет код, чинит баги и читает репозитории, более стабильное следование инструкциям и рассуждение в Claude 3.5 зачастую важнее, чем просто «лучше болтать».

Одновременно Claude 3.5 Haiku делает ставку на скорость и экономичность — он подходит для высокочастотных пользовательских сценариев, например для поддержки клиентов, лёгких задач и продуктовых функций, где важна низкая задержка ответа. Логика выбора проста: для глубины и сложных задач — Claude 3.5 Sonnet, для скорости и масштабирования — Claude 3.5 Haiku.

Безопасность и напоминание по использованию: не воспринимайте Claude 3.5 как «полный автопилот»

Anthropic заявляет, что эти обновления прошли оценку безопасности и что компания сотрудничала с исследовательскими организациями по безопасности ИИ в США и Великобритании, проводя тестирование перед развёртыванием; при этом считается, что уровень риска по-прежнему укладывается в существующие стандарты. Даже так, по сути управление компьютером в Claude 3.5 — это способность «работать с интерфейсом», и если дать слишком широкие права, небольшая ошибка может перерасти в реальный ущерб.

Более надёжный подход: выдавать Claude 3.5 минимально необходимые права, ограничивать доступные сайты и приложения, сохранять журналы действий и требовать ручного подтверждения для ключевых отправок/подтверждений. При таком использовании Claude 3.5 больше похож на надёжного помощника, а не на неконтролируемый автоматизированный скрипт.