Freelance Agent Evaluation Engineer

Mindrift, piattaforma di sourcing per esperti AI, ricerca un Freelance Agent Evaluation Engineer per progetti basati su valutazione di agenti di codifica AI.

Cosa farai

• Costruire dataset per valutare agenti di codifica AI, creando task realistici e criteri di valutazione.
• Progettare ambienti di sviluppo simulati con codebase, infrastruttura, ticket, documenti e conversazioni.
• Definire prompt, criteri di completamento e garantire la risolvibilità dei task da parte dell’agente AI.
• Scrivere test funzionali e di integrazione che accettino soluzioni corrette e rifiutino quelle errate.
• Iterare su task e test in base al feedback QA, analizzando fallimenti e migliorando la valutazione.

Requisiti

• Almeno 5 anni di esperienza nello sviluppo software.
• Conoscenza approfondita di Python, FastAPI, JavaScript/TypeScript, React, Docker, Postgres, Kafka, Redis.
• Esperienza nella scrittura di test funzionali e di integrazione.
• Padronanza della lingua inglese (livello B2 o superiore).
• Capacità di comprendere i limiti dei modelli AI e di progettare scenari di valutazione complessi.

Cosa offriamo

• Opportunità di lavoro freelance, progetto basato, totalmente remoto.
• Compenso fino a 40 ore equivalenti per progetto, con stima di 20 ore per task.
• Flessibilità nella gestione del tempo e nella scelta del ritmo di lavoro.

Come funziona

• Invia il CV in inglese indicando il livello di inglese.
• Partecipa al processo di qualificazione.
• Completa i task assegnati entro le scadenze.
• Ricevi il pagamento al completamento e accettazione dei task.