Claude запускает навыки управления компьютером: как пользоваться — от понимания скриншотов до автозаполнения форм

Claude недавно сделал большой шаг вперёд в умении «видеть экран и щёлкать мышью»: он не просто отвечает на вопросы, а пытается напрямую управлять интерфейсом компьютера, чтобы выполнять задачи. В этой статье с более практической точки зрения объясняется, что такое компьютерные навыки Claude, для чего они подходят и на какие подводные камни стоит обратить внимание при внедрении.

Что именно добавилось в компьютерных навыках Claude

Согласно публичным сообщениям, Anthropic предложила для Claude 3.5 Sonnet подход в виде API, позволяющий модели «воспринимать интерфейс компьютера и взаимодействовать с ним»: Claude может считывать скриншоты экрана, выводить текущее состояние интерфейса, а затем разбивать цель на последовательные действия и выполнять их.

Это можно понимать как комбинацию «понимание изображения + многошаговые действия»: Claude сначала разбирается, какие на скриншоте есть окна, кнопки и таблицы, а затем решает, куда нажать дальше, что ввести и как перейти на нужную страницу.

Какие задачи лучше всего отдавать Claude для выполнения напрямую

Лучше всего подходят процессы на компьютере с чёткими правилами и повторяющимися шагами, которые вручную отнимают много времени, например: открыть браузер и найти информацию, затем оформить результаты в таблицу, либо занести данные по полям в бэк-офисной системе.

Когда вам нужно «не просто дай ответ, а заодно пройди весь процесс до конца», ценность Claude становится очевидной: он может в рамках одного контекста задачи спланировать, выполнить и затем скорректировать действия, вместо того чтобы заставлять вас копировать и вставлять между несколькими инструментами.

Подход для старта: пусть Claude сначала будет надёжным, потом — быстрым

При внедрении рекомендуется проектировать Claude как «исполнительного помощника»: сначала задать чёткую цель и границы (какие страницы можно посещать, какие поля разрешено изменять), затем попросить Claude выдать пошаговый план и требовать повторного подтверждения на ключевых шагах.

Если задача включает заполнение таблиц или навигацию по страницам, можно сначала попросить Claude по скриншоту составить «список элементов интерфейса»; убедившись, что распознавание верное, переходить к этапу выполнения — так меньше риск отклониться от нужного пути.

Известные слабые места и советы, как избежать проблем

Anthropic также признаёт, что компьютерные навыки Claude не идеальны: такие естественные для человека действия, как прокрутка, перетаскивание и масштабирование, для Claude всё ещё являются вызовом; в экспериментах даже встречались случаи ошибочной остановки записи экрана, из‑за чего данные терялись.

На уровне оценок в публикациях упоминается, что в задаче на понимание скриншотов OSWorld Claude набрал около 14,9% (при увеличении лимита шагов — до 22%), и до человеческого уровня ему ещё далеко. Поэтому более практичный подход — поручать Claude процессы, которые «можно откатить и можно проверить», а для критических действий добавлять аудит и контроль прав доступа.