Claude Computer Use : automatiser un navigateur en production

Ce que vous saurez faire à la fin

• Installer et configurer Claude Computer Use en local dans un sandbox Docker sécurisé en moins de 30 minutes
• Écrire un agent qui ouvre un navigateur, se connecte à un site et remplit un formulaire en autonomie
• Industrialiser un workflow répétitif (saisie factures, téléchargement relevés bancaires, extraction données fournisseurs)
• Encadrer l’agent avec garde-fous, logs et coupe-circuit pour éviter les dérives en production
• Calculer le ROI réel d’une automatisation Computer Use pour une PME sénégalaise

Prérequis

• Clé API Anthropic active avec accès à claude-sonnet-4-6 ou plus récent
• Docker Desktop installé (Mac, Windows 10+, ou Linux)
• Python 3.10+ et pip
• 8 Go RAM minimum, 15 Go disque libre
• Une tâche navigateur répétitive à automatiser (exemple : télécharger chaque matin le relevé Orange Money)

Étape 1 — Pourquoi Computer Use change la donne pour une PME

Avant Computer Use, automatiser un site web sans API officielle obligeait à écrire un script Selenium ou Playwright fragile qui cassait à chaque mise à jour du site. Computer Use permet à Claude de voir l’écran, bouger la souris, taper au clavier et s’adapter au contexte visuel. Concrètement, pour une PME :

• Rapprochement bancaire Ecobank / Orange Money qui prenait 3h par semaine → 10 minutes
• Extraction hebdomadaire des commandes Jumia, afrikrea, itskillscenter → automatique
• Remplissage de déclarations fiscales répétitives sur le portail DGID sénégalais

La règle économique : si une tâche vous prend plus de 30 minutes et revient au moins 2 fois par semaine, Computer Use la rentabilise en moins de 2 mois.

Étape 2 — Installer l’environnement Docker sécurisé

Jamais lancer Computer Use directement sur votre machine de travail. L’agent a le contrôle complet souris/clavier : une erreur peut supprimer des fichiers. On utilise le sandbox Docker officiel d’Anthropic.

git clone https://github.com/anthropics/anthropic-quickstarts
cd anthropic-quickstarts/computer-use-demo

# Construire l'image (première fois : 5-8 min)
docker build . -t computer-use-demo

# Lancer en exposant votre clé API et les ports nécessaires
docker run \
  -e ANTHROPIC_API_KEY=sk-ant-... \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 \
  -it computer-use-demo

Ouvrez http://localhost:8080 dans votre navigateur. Vous voyez une interface combinée : chat Claude à gauche, bureau virtuel à droite. C’est votre bac à sable.

Étape 3 — Votre premier agent : télécharger un relevé

Tapez dans le chat :

Va sur orange.sn, connecte-toi avec l’identifiant test@itskillscenter.io et le mot de passe stocké dans /home/computeruse/.secrets/orange.txt, télécharge le relevé du mois en cours au format PDF dans /home/computeruse/downloads, puis déconnecte-toi proprement.

Observez en temps réel : Claude ouvre Firefox, tape l’URL, lit la page de login, clique dans le champ email, tape l’identifiant, etc. Il commente chaque action. Si la page change (ex. captcha), il s’arrête et demande votre intervention.

Étape 4 — Scripter l’automatisation en Python

L’interface graphique est pour tester. En production, on appelle l’API directement.

import anthropic, base64
from pathlib import Path

client = anthropic.Anthropic()

def automatiser_tache(instruction: str):
    return client.beta.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=4096,
        tools=[
            {"type": "computer_20250124", "name": "computer",
             "display_width_px": 1280, "display_height_px": 800},
            {"type": "bash_20250124", "name": "bash"},
        ],
        messages=[{"role": "user", "content": instruction}],
        betas=["computer-use-2025-01-24"],
    )

reponse = automatiser_tache(
    "Ouvre Chrome, va sur https://dashboard.itskillscenter.io, "
    "exporte en CSV les commandes du jour et enregistre dans /tmp/commandes.csv"
)
print(reponse.content)

Étape 5 — Les 5 garde-fous indispensables en production

1. Sandbox obligatoire : toujours Docker ou VM dédiée, jamais la machine de production
2. Secrets isolés : les identifiants dans un fichier monté en lecture seule, pas dans le prompt
3. Timeout strict : 10 minutes max par tâche, sinon on kill l’agent
4. Liste blanche de sites : pare-feu Docker limitant les domaines accessibles (orange.sn, ecobank.sn, dgid.sn uniquement)
5. Log vidéo : enregistrer l’écran avec ffmpeg pour audit en cas de problème

# Exemple de pare-feu domaine-whitelist
docker run --network=isolated \
  --dns=127.0.0.1 \
  --add-host orange.sn:41.221.116.34 \
  computer-use-demo

Étape 6 — Erreurs classiques et comment les éviter

• Écran trop grand : Claude est plus précis en 1280×800. Résolutions 4K dégradent fortement la fiabilité.
• Captchas : Claude ne résout pas les captchas par design. Prévoyez un handoff humain via notification Slack/email.
• Boucles infinies : si l’agent clique 5 fois sur le même bouton sans changement d’état, ajoutez un détecteur : if nb_clics_identiques > 3: stop
• Coût qui dérape : une session typique coûte 0,30 à 1,50 USD. Mettez un budget cap mensuel sur votre clé API via le dashboard Anthropic.

Étape 7 — Cas d’usage rentables pour une PME sénégalaise

Étape 8 — Industrialiser : de l’agent ad-hoc au workflow planifié

Passez d’un agent lancé manuellement à un workflow robuste :

1. Écrivez chaque tâche en fonction Python testable unitairement
2. Planifiez avec cron (Linux) ou Task Scheduler (Windows) : 0 7 * * 1 python /opt/agents/rapprochement.py
3. Pipeline de supervision : envoyez le résultat dans un canal Slack dédié avec capture d’écran en cas d’échec
4. Stockez les artefacts produits (CSV, PDF) dans Google Drive ou S3 avec rétention 90 jours
5. Mettez en place une alerte si l’agent n’a pas tourné depuis 48h

Prochaines étapes

• Passer au modèle claude-opus-4-7 pour les tâches complexes (multi-onglets, extractions longues)
• Combiner Computer Use avec Tool Use classique : l’agent utilise votre API interne quand elle existe, bascule sur le navigateur uniquement si besoin
• Mesurer le taux de succès : si < 85 %, revoir le prompt système avec exemples concrets