📢 New: get today's jobs on our WhatsApp Channel
Jobiglo

No results.

Agent Reliability Engineer (AI / LLM)

Orbislabs.ai

New
Mid tr
Python SQL CI/CD Docker Git LangSmith Langfuse Arize Phoenix DeepEval Ragas Promptfoo Kubernetes vLLM Ollama LangGraph Prometheus Grafana OpenTelemetry

Job description

Pozisyon Hakkında

Orbislabs AI, bankacılık, sigortacılık, havacılık ve üretim gibi regüle sektörlerdeki kurumlara yönelik yapay zeka ajan orkestrasyon platformu OrbisAgents'ı geliştiriyor. Platform, veri egemenliği, insan onaylı (HITL) iş akışları, denetim izleri ve çoklu ajan orkestrasyonu ile yapay zekâyı güvenli ve kontrollü kullanmayı sağlıyor. Bu pozisyonda OrbisAgents'taki ajanların kalite standartları belirlenip canlıya çıkış kararları verilecek.

Temel Sorumluluklar

  • Çok adımlı ajanlar için değerlendirme yöntemleri tasarlamak: deterministik kontroller, LLM-as-judge ve insan incelemesi ile görev tamamlama, araç çağrısı doğruluğu ve güvenliği ölçmek
  • Ekip tarafından yazılacak test framework'ünü kurmak ve sürdürmek
  • Normal senaryolar, eksik/hatalı veri, uç durumlar, HITL adımları ve zorlayıcı girdiler içeren test suite'larını ve golden dataset'leri oluşturmak ve güncellemek
  • Prompt injection koruması, PII maskeleme ve uyum kontrolleri içeren girdi/çıktı guardrail'lerini tasarlamak ve test etmek
  • Değerlendirme sonuçlarını CI/CD'ye entegre ederek kalite eşiklerini karşılamayan sürümleri durdurmak
  • Ajanların bulut ve on-premise ortamlarda versiyonlama ve rollback desteğiyle kurulmasını sağlamak
  • Observability, tracing, loglama ve alarm altyapısını kurmak, denetim izlerini desteklemek ve kalite, gecikme, maliyet ve hata oranlarını raporlamak

Aranan Profil

  • Bilgisayar mühendisliği veya ilgili bölümlerden mezun
  • Yazılım alanında 2-4 yıl deneyim; en az 1 yıl üretim ortamında LLM veya ajan çalışması
  • Python ve temel SQL bilgisi
  • LLM değerlendirme süreçleri (rubric, LLM-as-judge, golden dataset, regresyon testleri) deneyimi
  • Guardrail yaklaşımları ve CI/CD, Docker, Git bilgisi
  • İyi derecede İngilizce; tercihen regüle sektör deneyimi, red-teaming ve Türkçe LLM çıktısı değerlendirme deneyimi

Gerekli Yetkinlikler

  • LangSmith, Langfuse, Arize Phoenix, DeepEval, Ragas, Promptfoo gibi araçlardan en az biri
  • Tercih: Kubernetes, vLLM/Ollama, LangGraph, Prometheus, Grafana, OpenTelemetry

Sunduklarımız

  • Kurumsal yapay zeka ekibinde yer alma ve canlıda çalışan 42'den fazla ajanın kalitesinin sorumluluğu
  • Finans ve sigorta projeleri ve rekabetçi ücret
  • Tamamen uzaktan çalışma ve eğitim desteği

Questions fréquentes

Le salaire n'est pas communiqué publiquement par le recruteur. Vous pouvez postuler et négocier directement avec Orbislabs.ai.
Cliquez sur "Postuler maintenant" en haut de la page. Vous pouvez importer votre CV en 1 clic — Jobiglo extrait automatiquement vos informations et postule pour vous.

Why are you reporting this job?

Thank you for your report. We will review this job.

Explore further

Salaries, guides and searches in Turkey.

Apply in 30 seconds

Enter your email to apply. An account will be created automatically.

Apply now →

By continuing, you accept our terms of use.

Already have an account? Login

A question about this job?

Ask it here: you will get the full job summary by e-mail, right away.

Published 9 hours ago

Expires 1 month from now

5 views · 0 interested

Boost your chances

Upload your CV — we will match you with relevant openings.

Analyzing your CV...

Orbislabs.ai