Разбор новой функции Claude 3.5 Sonnet по управлению компьютером: от скриншотов до автоматического выполнения процессов

Самое заметное обновление Claude 3.5 Sonnet в последнее время — это шаг от «умеет отвечать» к «умеет действовать». Благодаря набору возможностей, позволяющих модели воспринимать интерфейс компьютера и выполнять шаги, он связывает понимание скриншотов, навигацию и заполнение форм в единый целостный процесс. Ниже, исходя из реальной логики использования, по частям разберём, что умеет Claude 3.5 Sonnet, кому это подходит и какие есть границы, на которые стоит обращать внимание。

Что именно изменило «управление компьютером» в Claude 3.5 Sonnet

Раньше, когда вы просили Claude 3.5 Sonnet написать план или решение, вам часто всё равно приходилось самим открывать веб‑страницы, копировать содержимое, переключаться между инструментами и вставлять данные. Теперь направление такое: Claude 3.5 Sonnet не только понимает скриншоты экрана, но и может разложить ваши инструкции на естественном языке на конкретные шаги работы на компьютере. Для разработчиков это означает возможность встроить в продукт цепочку «понять интерфейс — выполнить действие — вернуть результат».

Это не просто ещё одна кнопка: задачи могут продвигаться последовательно в одном и том же контексте, с меньшим количеством прерываний туда‑сюда. Особенно в рабочих процессах, где нужно много шагов и повторная проверка, ценность Claude 3.5 Sonnet будет заметнее.

Что он умеет: таблицы, веб‑страницы, упорядочивание данных — быстрее и проще

Судя по открытой информации, типичные сценарии для Claude 3.5 Sonnet включают: чтение материалов на вашем компьютере для заполнения таблиц, навигацию в браузере к нужным страницам, приведение информации к структурированному виду. Его можно воспринимать как «помощника с глазами»: сначала он понимает содержимое скриншота, затем по инструкции продолжает действия. Команды с большим объёмом повторяющихся операций — например, операционный ввод данных, свод отчётов, сверка материалов — быстрее увидят рост эффективности.

Если вы хотите, чтобы Claude 3.5 Sonnet помогал с исследовательскими задачами, такой режим тоже подходит лучше: сначала найти источники, затем извлечь ключевые пункты, а в конце сформировать таблицу или пояснение, готовые к сдаче.

Качество и ограничения: это не универсальный робот

Эта возможность всё ещё находится на стадии тестирования, и Anthropic признаёт, что она не идеальна. Такие естественные для человека действия, как прокрутка, перетаскивание и масштабирование, по‑прежнему сложны для Claude 3.5 Sonnet; в экспериментах даже встречались случаи, когда остановка длительной записи экрана приводила к потере содержимого. В оценках OSWorld по тесту на «понимание скриншотов» Claude 3.5 Sonnet набрал 14,9% — это всё ещё намного ниже человеческого уровня примерно 70–75%.

Поэтому более реалистичный подход такой: поручить Claude 3.5 Sonnet основную часть «понять + выполнить по шагам», а на вас оставить подтверждение ключевых точек и подстраховку — так стабильнее.

Рекомендации для старта: формулируйте команды как «проверяемые» шаги

Чтобы управление компьютером у Claude 3.5 Sonnet работало надёжнее, делайте инструкции максимально конкретными и проверяемыми — например: «открыть определённую таблицу — перейти к нужному столбцу — заполнить по правилу — сообщить, какие ячейки были изменены». Если на каждом шаге оставлять проверяемый результат (скриншот, значения полей, список выполненного), это заметно снижает цену ошибки. Также можно сначала попросить Claude 3.5 Sonnet пересказать, как именно он собирается действовать, и лишь затем подтверждать выполнение — в целом так безопаснее.

В целом «управление компьютером» в Claude 3.5 Sonnet не заменяет человека, а сокращает повторяющийся труд мышью и клавиатурой до меньшего числа взаимодействий; при правильном выборе сценариев прирост будет очень наглядным.