Claude Computer Use : automatiser un navigateur en production

Ce que vous saurez faire à la fin

• Installer et configurer Claude Computer Use en local dans un sandbox Docker sécurisé en moins de 30 minutes
• Écrire un agent qui ouvre un navigateur, se connecte à un site et remplit un formulaire en autonomie
• Industrialiser un workflow répétitif (saisie factures, téléchargement relevés bancaires, extraction données fournisseurs)
• Encadrer l’agent avec garde-fous, logs et coupe-circuit pour éviter les dérives en production
• Calculer le ROI réel d’une automatisation Computer Use pour une PME sénégalaise

Prérequis

• Clé API Anthropic active avec accès à claude-sonnet-4-6 ou plus récent
• Docker Desktop installé (Mac, Windows 10+, ou Linux)
• Python 3.10+ et pip
• 8 Go RAM minimum, 15 Go disque libre
• Une tâche navigateur répétitive à automatiser (exemple : télécharger chaque matin le relevé Orange Money)

Étape 1 — Pourquoi Computer Use change la donne pour une PME

Avant Computer Use, automatiser un site web sans API officielle obligeait à écrire un script Selenium ou Playwright fragile qui cassait à chaque mise à jour du site. Computer Use permet à Claude de voir l’écran, bouger la souris, taper au clavier et s’adapter au contexte visuel. Concrètement, pour une PME :

• Rapprochement bancaire Ecobank / Orange Money qui prenait 3h par semaine → 10 minutes
• Extraction hebdomadaire des commandes Jumia, afrikrea, itskillscenter → automatique
• Remplissage de déclarations fiscales répétitives sur le portail DGID sénégalais

La règle économique : si une tâche vous prend plus de 30 minutes et revient au moins 2 fois par semaine, Computer Use la rentabilise en moins de 2 mois.

Étape 2 — Installer l’environnement Docker sécurisé

Jamais lancer Computer Use directement sur votre machine de travail. L’agent a le contrôle complet souris/clavier : une erreur peut supprimer des fichiers. On utilise le sandbox Docker officiel d’Anthropic.

git clone https://github.com/anthropics/anthropic-quickstarts
cd anthropic-quickstarts/computer-use-demo

# Construire l'image (première fois : 5-8 min)
docker build . -t computer-use-demo

# Lancer en exposant votre clé API et les ports nécessaires
docker run \
  -e ANTHROPIC_API_KEY=sk-ant-... \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 \
  -it computer-use-demo

Ouvrez http://localhost:8080 dans votre navigateur. Vous voyez une interface combinée : chat Claude à gauche, bureau virtuel à droite. C’est votre bac à sable.

Étape 3 — Votre premier agent : télécharger un relevé

Tapez dans le chat :

Va sur orange.sn, connecte-toi avec l’identifiant test@itskillscenter.io et le mot de passe stocké dans /home/computeruse/.secrets/orange.txt, télécharge le relevé du mois en cours au format PDF dans /home/computeruse/downloads, puis déconnecte-toi proprement.

Observez en temps réel : Claude ouvre Firefox, tape l’URL, lit la page de login, clique dans le champ email, tape l’identifiant, etc. Il commente chaque action. Si la page change (ex. captcha), il s’arrête et demande votre intervention.

Étape 4 — Scripter l’automatisation en Python

L’interface graphique est pour tester. En production, on appelle l’API directement.

import anthropic, base64
from pathlib import Path

client = anthropic.Anthropic()

def automatiser_tache(instruction: str):
    return client.beta.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=4096,
        tools=[
            {"type": "computer_20250124", "name": "computer",
             "display_width_px": 1280, "display_height_px": 800},
            {"type": "bash_20250124", "name": "bash"},
        ],
        messages=[{"role": "user", "content": instruction}],
        betas=["computer-use-2025-01-24"],
    )

reponse = automatiser_tache(
    "Ouvre Chrome, va sur https://dashboard.itskillscenter.io, "
    "exporte en CSV les commandes du jour et enregistre dans /tmp/commandes.csv"
)
print(reponse.content)

Étape 5 — Les 5 garde-fous indispensables en production

1. Sandbox obligatoire : toujours Docker ou VM dédiée, jamais la machine de production
2. Secrets isolés : les identifiants dans un fichier monté en lecture seule, pas dans le prompt
3. Timeout strict : 10 minutes max par tâche, sinon on kill l’agent
4. Liste blanche de sites : pare-feu Docker limitant les domaines accessibles (orange.sn, ecobank.sn, dgid.sn uniquement)
5. Log vidéo : enregistrer l’écran avec ffmpeg pour audit en cas de problème

# Exemple de pare-feu domaine-whitelist
docker run --network=isolated \
  --dns=127.0.0.1 \
  --add-host orange.sn:41.221.116.34 \
  computer-use-demo

Étape 6 — Erreurs classiques et comment les éviter

• Écran trop grand : Claude est plus précis en 1280×800. Résolutions 4K dégradent fortement la fiabilité.
• Captchas : Claude ne résout pas les captchas par design. Prévoyez un handoff humain via notification Slack/email.
• Boucles infinies : si l’agent clique 5 fois sur le même bouton sans changement d’état, ajoutez un détecteur : if nb_clics_identiques > 3: stop
• Coût qui dérape : une session typique coûte 0,30 à 1,50 USD. Mettez un budget cap mensuel sur votre clé API via le dashboard Anthropic.

Étape 7 — Cas d’usage rentables pour une PME sénégalaise

Étape 8 — Industrialiser : de l’agent ad-hoc au workflow planifié

Passez d’un agent lancé manuellement à un workflow robuste :

1. Écrivez chaque tâche en fonction Python testable unitairement
2. Planifiez avec cron (Linux) ou Task Scheduler (Windows) : 0 7 * * 1 python /opt/agents/rapprochement.py
3. Pipeline de supervision : envoyez le résultat dans un canal Slack dédié avec capture d’écran en cas d’échec
4. Stockez les artefacts produits (CSV, PDF) dans Google Drive ou S3 avec rétention 90 jours
5. Mettez en place une alerte si l’agent n’a pas tourné depuis 48h

Prochaines étapes

• Passer au modèle claude-opus-4-7 pour les tâches complexes (multi-onglets, extractions longues)
• Combiner Computer Use avec Tool Use classique : l’agent utilise votre API interne quand elle existe, bascule sur le navigateur uniquement si besoin
• Mesurer le taux de succès : si < 85 %, revoir le prompt système avec exemples concrets

Etape 1 : Comprendre ce que fait reellement Computer Use

Computer Use est un outil expose par les modeles Claude Sonnet 4.5 et Opus 4.7 qui prend une capture d ecran, decide ou cliquer, taper, scroller, puis recommence. Le modele ne pilote pas un site via API : il regarde l interface comme un humain, ce qui le rend utile pour automatiser des intranets sans documentation, des dashboards Orange Money agence, ou la saisie de releves Wave dans un tableur. Anthropic facture 3 USD le million de tokens d entree et 15 USD le million en sortie sur Sonnet 4.5 — comptez environ 80 a 200 FCFA par tache courte de 30 secondes.

Etape 2 : Recuperer une cle API Anthropic depuis Dakar

Creez un compte sur console.anthropic.com avec une carte Visa internationale Ecobank ou un compte Wise EUR. Anthropic accepte les paiements depuis le Senegal mais bloque parfois les cartes Mixx by Yas et Orange Money virtuelles : prevoyez un fallback Wise. Une fois loggue, ouvrez API keys, generez sk-ant-api03-xxxx, stockez la cle dans un gestionnaire (Bitwarden, 1Password) — ne la commitez JAMAIS sur GitHub.

Etape 3 : Lancer la sandbox Docker officielle

Anthropic publie une image Docker qui contient Ubuntu 22.04, Firefox, un serveur VNC et un client Python pret a parler a Claude. C est la maniere la plus sure de tester sans exposer votre machine.

export ANTHROPIC_API_KEY="sk-ant-api03-..."
docker run -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -v $HOME/.anthropic:/home/computeruse/.anthropic \
  -p 5900:5900 -p 8501:8501 -p 6080:6080 -p 8080:8080 \
  -it ghcr.io/anthropics/anthropic-quickstarts:computer-use-demo-latest

Patientez 30 secondes puis ouvrez http://localhost:8080 dans votre navigateur : vous voyez un Streamlit a gauche pour parler a Claude, et un bureau Ubuntu a droite. Si l ecran est noir, le port 6080 est probablement occupe par une autre app — fermez Zoom ou Skype et relancez le conteneur.

Etape 4 : Premiere instruction simple

Dans la zone de chat Streamlit, tapez : Ouvre Firefox, va sur senweb.sn et rapporte le titre de la premiere actualite. Claude prend une capture, voit le bureau vide, ouvre Firefox via un clic sur l icone, attend le chargement, retape l URL, scroll, et renvoie en texte le titre extrait. Le tour dure 25 a 60 secondes selon votre latence vers les datacenters Anthropic (us-east-1 et eu-central-1 disponibles depuis fin 2025).

Si Claude se trompe d icone, c est normal sur la premiere iteration : il s auto-corrige a la capture suivante. Surveillez la consommation tokens dans la sidebar Streamlit pour calibrer le cout.

Etape 5 : Automatiser la collecte de tarifs Hostinger

Une tache realiste pour un freelance Plateau : aller chaque lundi sur le site d un hebergeur, relever le prix Single Hosting promo, et l ecrire dans un tableau. Demandez a Claude : Va sur hostinger.com/fr/hebergement-web, recupere le prix mensuel des trois plans, et formate la reponse en JSON.

Claude navigue, gere la banniere cookies (declinez par defaut, conformement a notre politique de confidentialite), lit les prix, et renvoie {« single »: »2,99 EUR », »premium »: »3,49 EUR », »business »: »4,99 EUR »}. Convertissez en FCFA dans Google Sheets avec =A2*655,957 si la valeur est en EUR. Note : Hostinger affiche souvent un prix mensuel calcule sur 48 mois prepayes, fact a verifier avant tout devis client.

Etape 6 : Ajouter un garde-fou pour eviter les actions destructives

Computer Use peut cliquer Supprimer, Acheter ou Envoyer si vous le laissez faire. Dans le system prompt du fichier streamlit_app.py, ajoutez : Ne clique jamais sur un bouton dont le libelle contient supprimer, payer, valider la commande, envoyer, sans demander confirmation explicite a l utilisateur. Cette regle reduit drastiquement les degats si Claude se trompe d onglet. Pour les sessions banque ou Wave Business : ne lancez JAMAIS Computer Use, le risque depasse le gain.

Etape 7 : Brancher l API en Python sans Docker

Une fois la sandbox maitrisee, vous pouvez piloter directement Chromium avec le SDK Python d Anthropic. Installez les paquets puis appelez l outil computer.

pip install anthropic==0.45.0 pyautogui pillow
python - <<'PY'
import anthropic
client = anthropic.Anthropic()
response = client.beta.messages.create(
    model="claude-sonnet-4-5",
    max_tokens=1024,
    tools=[{"type":"computer_20250124","name":"computer","display_width_px":1366,"display_height_px":768}],
    messages=[{"role":"user","content":"Ouvre google.sn et cherche meteo Dakar"}],
    betas=["computer-use-2025-01-24"],
)
print(response.content)
PY

Vous recevez en retour la liste des actions tool_use que Claude veut executer. C est a vous d implementer la boucle qui prend une capture pyautogui, la renvoie et execute les clics. Le depot anthropic-quickstarts sur GitHub fournit le code reference a copier.

Etape 8 : Mesurer le ROI sur une tache reelle

Chronometrez 10 executions de la tache Hostinger pour calculer le cout moyen en tokens, puis comparez au temps humain (5 minutes a 5 000 FCFA de l heure = 417 FCFA). Si Computer Use coute 150 FCFA par execution, le break-even est immediat. Pour des taches lourdes (saisie de 200 lignes), ecrivez plutot un script Playwright classique : il consomme zero token API et tourne en 30 secondes.

Etape 9 : Sur le même thème

Lisez la documentation Anthropic sur les outils text_editor et bash exposes en complement de computer, explorez nos guides automatiser WordPress avec Playwright et choisir entre Claude et GPT pour ses scripts pour completer votre toolkit d agent autonome.

Articles connexes Claude

• Claude Tool Use : créer un agent réservation de rendez-vous
• RAG production avec Claude + Pinecone + Langchain
• Automatiser le service client WhatsApp avec OpenAI ou Claude API : guide pratique
• Claude Agent SDK 2026 : guide complet (construire des agents IA en production)