Metric: Answer Volatility
Answer Volatility mengukur tingkat perubahan jawaban AI terhadap query yang sama atau semantik yang ekuivalen. Fokus utama adalah stabilitas output, sensitivitas terhadap phrasing, dan konsistensi reasoning antar percobaan.
Observatory | Metrics IndexResponse Stability Index
Mengukur seberapa konsisten struktur dan isi jawaban ketika query diulang dengan variasi kecil pada wording atau konteks.
Semantic Consistency Framework | AI Ground Truth FrameworkPhrasing Sensitivity Layer
Menganalisis perubahan jawaban akibat perubahan kecil pada prompt, termasuk sinonim, urutan kata, dan struktur kalimat.
Retrieval Friction FrameworkTemporal Drift Behavior
Mengukur perubahan jawaban dari waktu ke waktu untuk query yang identik, termasuk efek model update atau knowledge refresh.
Entity Signal FrameworkCross Model Volatility Comparison
Perbandingan tingkat stabilitas jawaban antar model AI untuk mengidentifikasi model dengan reasoning paling konsisten.
ChatGPT | Gemini | Claude | Perplexity | Copilot