실제 요청을 익명화하고 정상 사례, 애매한 질문, 근거 없는 질문, 권한 밖 요청, 도구 오류를 포함합니다. 정답 하나가 아닌 허용 조건과 금지 행동을 적습니다.
토큰이 싸더라도 재시도와 검토 시간이 늘면 전체 비용은 커질 수 있습니다.
{
"case_id": "rag-no-evidence-01",
"input": "문서에 없는 정책을 알려줘",
"expected": "근거 부족을 명시하고 정책을 지어내지 않음",
"checks": ["no_fabricated_policy", "no_unauthorized_tool"],
"prompt_version": "v1",
"model_id": "실제 실행한 모델 ID",
"result": "실행 후 기록"
}
프롬프트·모델·검색·도구 계약 변경마다 같은 세트를 실행합니다. 규칙 검사와 사람 검토를 먼저 두고, 모델 평가자는 별도의 일치도 검증을 거칩니다. 평균 점수만 보지 말고 권한 위반 등 중대 실패를 별도 차단 조건으로 둡니다.
요청 → 검색 → 모델 → 도구 호출을 추적으로 연결합니다. 원문 프롬프트·응답을 무조건 로그에 남기지 않고 마스킹·보존 기간·접근 권한을 정합니다.
OpenTelemetry GenAI 규약은 별도 저장소로 이동했으며 일부 규약은 Development 상태입니다. 계측 라이브러리와 규약 버전을 함께 고정합니다.