AI Evaluation Engineer

Rolul se ocupă de definirea și măsurarea calității răspunsurilor AI pentru produse de piață energetică. Va lucra în echipa de Engineering pentru a construi cadre de evaluare și integrări de date.

Ce vei face

• Proiectează și implementează cadre de evaluare end-to-end pentru Yes AI
• Dezvoltă benchmarkuri și teste automate pentru detectarea erorilor AI
• Colaborează cu experți în domeniu pentru criterii de evaluare reproductibile
• Construiește şi menține pipeline-uri de evaluare scalabile şi continue
• Conduce experimentare de prompt engineering și RAG pe baza rezultatelor de evaluare

Pe cine caută

• Licență în informatică, data science, matematică sau similar
• Peste 5 ani experiență în inginerie software sau sisteme de evaluare
• Abilități puternice Python pentru pipeline-uri de evaluare în producție
• Cunoaștere a conceptelor de evaluare LLM și detecție hallucinații
• Capacitatea de a colabora cu experți non-tehnici pentru criterii de calitate

Competențe

• Python
• LLM evaluation
• benchmarking
• hallucination detection
• retrieval-augmented generation
• semantic similarity
• RAG
• Snowflake

Rezumat realizat de StartupJobs pe baza anunțului companiei. Anunțul complet este pe site-ul companiei.