Подробный разбор функции использования компьютера в Claude 3.5: как разработчикам заставить его смотреть на экран и кликать мышью

В этот раз самое «вирусное» в обновлении Claude 3.5 — не то, что он лучше болтает, а то, что он начал учиться «пользоваться компьютером». Обновлённый Claude 3.5 Sonnet усилил возможности в программировании и одновременно принёс публичную бета-версию функции использования компьютера: он умеет смотреть на экран, перемещать курсор, нажимать кнопки и вводить текст. Для тех, кто делает автоматизацию и интеллектуальных помощников, это очень практичный новый путь.

Обновление моделей Claude 3.5: Sonnet мощнее, Haiku быстрее

Anthropic одновременно выпустила обновлённый Claude 3.5 Sonnet и новый Claude 3.5 Haiku. В компании подчёркивают, что улучшения Claude 3.5 Sonnet носят «всесторонний» характер, особенно заметны в задачах по разработке ПО и программированию.

Если вам важнее скорость и стоимость, Claude 3.5 Haiku делает ставку на низкую задержку и более сильное следование инструкциям; он ориентирован на пользовательские продукты и задачи субагентов. Проще говоря: Claude 3.5 Sonnet — про «верхнюю планку возможностей», а Claude 3.5 Haiku — про «скорость отклика и выгодность».

Что такое функция использования компьютера: Claude 3.5 управляет интерфейсом как человек

Использование компьютера (computer use) — это публичная бета-возможность Claude 3.5, сейчас главным образом для API-сценариев. Её суть не в вызове какого-то фиксированного интерфейса инструмента, а в том, что модель «смотрит на экран», понимает текущий интерфейс и затем выполняет действия вроде перемещения курсора, кликов и ввода с клавиатуры.

Важно отметить: использование компьютера в Claude 3.5 всё ещё находится в экспериментальной стадии, и официально прямо говорят, что оно будет «немного хлопотным и склонным к ошибкам». Поэтому оно больше подходит для процессов, которые можно откатить и проверить, а не для одноразовых необратимых критических операций.

Какие процессы Claude 3.5 может автоматизировать

Когда задача требует десятков или даже сотен шагов UI-операций, использование компьютера в Claude 3.5 становится полезным: например, поэлементная настройка в веб-админке, заполнение форм на разных страницах в корпоративных инструментах или выполнение поиска и внесение данных в многошаговой системе заявок. Его преимущество в том, что он «идёт вслед за интерфейсом» — вам не нужно писать отдельные скрипты под каждую страницу.

Немало команд уже исследуют подобные возможности, применяя Claude 3.5 в более длинных рабочих цепочках. При практическом внедрении рекомендуется делать ключевые узлы «точками подтверждения», чтобы после каждого участка Claude 3.5 выдавал скриншот/краткое резюме состояния — это упрощает ручную или программную проверку.

Каналы запуска и информация по безопасности: не игнорируйте оценку перед развёртыванием

Обновлённый Claude 3.5 Sonnet уже доступен пользователям, а функция использования компьютера предоставлена в виде публичной беты через API; её можно использовать в Anthropic API, Amazon Bedrock и Google Cloud Vertex AI. На стороне AWS вы можете увидеть её под именем Claude 3.5 Sonnet V2.

По части безопасности компания сообщает о сотрудничестве с исследовательскими организациями по безопасности ИИ в США и Великобритании для преддеплойных тестов и считает, что стандарт ASL-2 по-прежнему применим. Для разработчиков более практический совет таков: задайте для использования компьютера в Claude 3.5 границы прав, ведите журналы действий и предусмотрите обработку отказов — сначала надёжно обеспечьте «управляемость, проверяемость и возможность остановки».