Agent Reliability Engineer (AI / LLM)
Orbislabs.ai
Job description
Pozisyon Hakkında
Orbislabs AI, bankacılık, sigortacılık, havacılık ve üretim gibi regüle sektörlerdeki kurumlara yönelik yapay zeka ajan orkestrasyon platformu OrbisAgents'ı geliştiriyor. Platform, veri egemenliği, insan onaylı (HITL) iş akışları, denetim izleri ve çoklu ajan orkestrasyonu ile yapay zekâyı güvenli ve kontrollü kullanmayı sağlıyor. Bu pozisyonda OrbisAgents'taki ajanların kalite standartları belirlenip canlıya çıkış kararları verilecek.
Temel Sorumluluklar
- Çok adımlı ajanlar için değerlendirme yöntemleri tasarlamak: deterministik kontroller, LLM-as-judge ve insan incelemesi ile görev tamamlama, araç çağrısı doğruluğu ve güvenliği ölçmek
- Ekip tarafından yazılacak test framework'ünü kurmak ve sürdürmek
- Normal senaryolar, eksik/hatalı veri, uç durumlar, HITL adımları ve zorlayıcı girdiler içeren test suite'larını ve golden dataset'leri oluşturmak ve güncellemek
- Prompt injection koruması, PII maskeleme ve uyum kontrolleri içeren girdi/çıktı guardrail'lerini tasarlamak ve test etmek
- Değerlendirme sonuçlarını CI/CD'ye entegre ederek kalite eşiklerini karşılamayan sürümleri durdurmak
- Ajanların bulut ve on-premise ortamlarda versiyonlama ve rollback desteğiyle kurulmasını sağlamak
- Observability, tracing, loglama ve alarm altyapısını kurmak, denetim izlerini desteklemek ve kalite, gecikme, maliyet ve hata oranlarını raporlamak
Aranan Profil
- Bilgisayar mühendisliği veya ilgili bölümlerden mezun
- Yazılım alanında 2-4 yıl deneyim; en az 1 yıl üretim ortamında LLM veya ajan çalışması
- Python ve temel SQL bilgisi
- LLM değerlendirme süreçleri (rubric, LLM-as-judge, golden dataset, regresyon testleri) deneyimi
- Guardrail yaklaşımları ve CI/CD, Docker, Git bilgisi
- İyi derecede İngilizce; tercihen regüle sektör deneyimi, red-teaming ve Türkçe LLM çıktısı değerlendirme deneyimi
Gerekli Yetkinlikler
- LangSmith, Langfuse, Arize Phoenix, DeepEval, Ragas, Promptfoo gibi araçlardan en az biri
- Tercih: Kubernetes, vLLM/Ollama, LangGraph, Prometheus, Grafana, OpenTelemetry
Sunduklarımız
- Kurumsal yapay zeka ekibinde yer alma ve canlıda çalışan 42'den fazla ajanın kalitesinin sorumluluğu
- Finans ve sigorta projeleri ve rekabetçi ücret
- Tamamen uzaktan çalışma ve eğitim desteği
Questions fréquentes
Why are you reporting this job?
Explore further
Salaries, guides and searches in Türkiye.
Salaries by job title
Apply in 30 seconds
Enter your email to apply. An account will be created automatically.
By continuing, you accept our terms of use.
Already have an account? Login
Une question sur cette offre ?
Posez-la ici : vous recevrez le récapitulatif de l'offre par e-mail, tout de suite.
Published 9 saat önce
Expires 1 ay sonra
4 views · 0 interested
Boost your chances
Upload your CV — we will match you with relevant openings.
Analyzing your CV...
Orbislabs.ai
Related job offers
-
Software Development Team Lead - Java Backend
Gizli Istanbul -
Çözüm Mimarı – Siber Güvenlik ve Bilgi Güvenliği Projeleri
SecHard Ankara -
Sistem ve Network Uzmanı – Otoyol İşletmesi
RÖNESANS HOLDİNG Istanbul -
Cybersecurity Engineer - AI Benchmarking Lead
Gramian Consulting -
Engineering Manager - Software Security & AI Benchmark Delivery
Gramian Consulting