Test Otomasyon Metrikleri ve API Dokümanı
Dış sistemlerden API aracılığıyla toplanan test sonuçlarını işleyerek, başarı oranı, kapsam ve kaçan hatalar (defects) gibi metrikleri hesaplar.
Automation Tests bölümü, otomatik test süreçlerinden gelen verilerin analiz edilmesini sağlar. Dış sistemlerden API aracılığıyla toplanan test sonuçlarını işleyerek, başarı oranı, kapsam ve kaçan hatalar (defects) gibi metrikleri hesaplar.
🔗 Manual testler (Xray) için bkz. Yeni Test Analizi Oluşturma 🔗 Global ayarlar için bkz. Test Analytics – Admin Settings
1. Veri Toplama Yapısı
Otomasyon test sonuçları Oobeya’ya REST API aracılığıyla aktarılır. Veriler, dört ana uç (endpoint) üzerinden gönderilir:
/apis/v1/test/external/execution
Test senaryolarının çalıştırma (execution) bilgilerini gönderir.
/apis/v1/test/external/defect
Kaçan (escaped) defect kayıtlarını gönderir.
/apis/v1/test/external/coverage
Test coverage (kapsam) verilerini gönderir.
/apis/v1/test/external/bug
Test kaynaklı bug kayıtlarını gönderir.
2. Veri Alanları
Execution Endpoint
Test koşumlarının (executions) temel bilgilerini içerir.
scenarioId
Test senaryosunun benzersiz kimliği.
applicationId
Testin ait olduğu uygulama veya modül.
startTime, endTime
Çalıştırma zaman aralığı.
status
PASS / FAIL / SKIPPED durumu.
durationMs
Çalışma süresi (ms).
environment, triggeredBy
Ortam ve testi başlatan kullanıcı.
team
Testi gerçekleştiren takım.
Defect Endpoint
Test sürecinde kaçan veya sonradan tespit edilen hatalar.
problemNo
Hata kimliği.
description
Hatanın açıklaması.
detectedAt, resolvedAt
Tespit ve çözüm tarihleri.
Coverage Endpoint
Kodun ne kadarının otomasyon testleriyle kapsandığını belirtir.
coverageService
Ölçüm yapılan repository veya pipeline.
toolType
Kullanılan test aracı (ör. Jacoco, Jest, NUnit).
coverageRate
Kapsama oranı (%).
totalLines, coveredLines
Kod satırı sayıları.
Bug Endpoint
Testlerle ilişkili bug kayıtlarını içerir.
bugId
Hatanın kimliği.
project
Bağlı proje.
assignedTo
Hatanın sorumlusu.
status
Bug durumu (Open, In Progress, Closed).
3. Automation Dashboard
API verileri işlendiğinde Automation Dashboard otomatik olarak oluşur. Dashboard üç ana katmandan oluşur:
Üst Panel (Top Widgets)
Bug Count
Toplam tespit edilen hata sayısı.
Executed Scenarios
Çalıştırılan test senaryosu sayısı.
Success Rate (%)
Başarılı testlerin oranı.
Coverage Rate (%)
Kodun testlerle kapsandığı oran.
Execution Time (Total)
Toplam test yürütme süresi.
Defect Count
Tespit edilen kaçan hata sayısı.
Orta Bölüm – Execution Status
Toplam, başarılı ve başarısız yürütme sayılarını zaman içinde gösterir.
Alt Bölüm – Detay Sekmeleri
Coverage
Test kapsam raporları.
Bugs
Testten kaynaklanan bug listesi.
Scenarios
Çalıştırılan test senaryolarının detayları.
Defects
Kaçan hatalar (leakage).
Tüm tablolar sağ üstten Excel olarak dışa aktarılabilir.
4. Hesaplanan Metrikler
Automation verileri işlendiğinde aşağıdaki metrikler otomatik olarak hesaplanır:
Automation Coverage (%)
Otomasyona alınan kod oranı.
Automation Success Rate (%)
Geçen senaryoların toplam senaryolara oranı.
Automation Execution Time (ms)
Ortalama test yürütme süresi.
Escaped Defects (%)
Otomasyonun kaçırdığı hataların oranı.
Test Efficiency (%)
Başarılı testlerin toplam testlere oranı.
Bu metriklerin renk durumu (yeşil/kırmızı), Admin Settings sayfasındaki Metric Thresholds değerlerine göre belirlenir.
5. Team Mapping Entegrasyonu
Test Otomasyon analizinden gelen metriklerin takımlara yansıtılması için, ilgili uygulama veya modülün takım ile ilişkilendirilmesi gerekmektedir.
Menü Yolu:
Insights > Teams > Scorecard > Update > Test Projects
Burada, test otomasyon verisini içeren projeler takımla eşleştirilmelidir. Detaylı bilgi için bkz. Takım Eşlemesi
Metrikler yalnızca "Related Team" kolonunda gelen takım bilgileri Oobeya'daki takımlar ile eşleştirilmişse takım seviyesinde hesaplanır.
6. API Yönetimi (Opsiyonel)
Veri Kontrolü
GET istekleriyle son gönderilen verileri kontrol edebilirsiniz:
/execution/last/{applicationId}/defect/last/{applicationId}/coverage/last/{applicationId}/bug/last/{applicationId}
Veri Silme
Gerekirse belirli test kayıtlarını silebilirsiniz:
DELETE /application/{applicationId}/execution/{id}/scenario/{scenarioId}
DELETE /defect/application/{applicationId}/problem-no/{problemNo}
DELETE /application/{applicationId}/coverage/{id}
DELETE /application/{applicationId}/bug/{id}
Bu işlemler yalnızca “Organization Admin” yetkisine sahip kullanıcılar tarafından yapılmalıdır.
7. Önerilen Kullanım Akışı
API Endpoint'lerini Test Otomasyon entegrasyonuna tanımla.
Veri gönderimini doğrula → Automation Dashboard kontrol et.
Metrikleri gözden geçir → Gerekirse Admin Settings üzerinden eşik değerlerini düzenle.
Takım bazlı görünüm için Team Mapping bağlantısını tamamla.
Last updated