개요
품질 보고
기록을 어떻게 확인하는지를 주장 대신 측정으로 적습니다. 기대값이 있는 고정 시험, 수치를 다시 계산하는 별도 감사기, 다른 계열 모델의 검토입니다.
공통 가상 시험
사례마다 실행 전에 기대값을 적습니다. 실측값이 기대값과 같을 때만 일치로 셉니다.
| 과제 | 검사 | 사례 | 일치 |
|---|---|---|---|
| 5-1 · AI 신약발굴 | 2 | 11 | 11 |
| 8-1 · 합성데이터 | 1 | 5 | 5 |
| 18-2 · 투약·조제오류 | 2 | 18 | 18 |
| 19-1 · 희귀질환 판독 | 1 | 4 | 4 |
| 16-2 · 적응형 인지훈련 | 1 | 4 | 4 |
| 16-3 · 치매 진단 | 1 | 5 | 5 |
| 18-1 · 낙상 조기 경보 | 1 | 6 | 6 |
| 18-3 · 수술 안전 | 1 | 5 | 5 |
| 12-1 · 급성 위기 신호 | 1 | 5 | 5 |
| 12-2 · 안전계획 전환 | 1 | 4 | 4 |
| 12-3 · 사회적 고립 | 1 | 5 | 5 |
| 12-4 · 학생 위기 전환 | 1 | 6 | 6 |
하네스별 독립 감사 관문
감사기는 풀이 모듈을 불러오지 않고 보고된 수치를 다시 계산합니다. 한 과제에 모듈이 여럿이면 모듈 이름으로 관문을 구분합니다.
public_records_and_simulated_patients19-1
- G1 동결 입력과 결과 파일
- G2 정직한 주장의 통과
- G3 거짓 주장과 장부 변조의 차단
- G4 문헌 소견의 검증과 2차 판독
ClinGen·ClinVar·gnomAD·HPO·공개 문헌과, 그 기록으로 만든 모의 환자에서 낸 수치입니다. 환자 자료는 쓰지 않았고 임상 성능은 재지 않았습니다. 감사자 서명이 없으며 공고 과제의 이행이 아닙니다.
synthetic_only16-2 · 16-3
- G1 동결 입력과 제출 구조
- G2 판정 정의·통제 완전성과 구조 규칙
- G3 수렴률·구간·판정의 독립 재계산
- G4 가상 지표 판정과 결과 해시
합성 코호트의 가상 지표입니다. ADNI·OASIS-3·DementiaBank 자료는 읽지 않았고, 실제 코호트 평가가 아니며 임상 타당성 평가와 감사자 서명을 포함하지 않습니다.
synthetic_only18-2
- G1 동결 입력과 제출 구조
- G2 결정론 규칙·고장 전이·감사 로그의 완전성
- G3 임계치와 벤치마크 판정의 독립 재계산
- G4 가상 지표 판정과 결과 해시
합성 갤러리, 시뮬레이터가 만든 비전 출력, 추상 코드로 쓴 주문의 수치입니다. 낱알 영상을 분석하지 않았고 실제 처방과 DUR 규칙표를 쓰지 않았으며 임상 성능 평가와 감사자 서명을 포함하지 않습니다.
synthetic_only12-1 · 12-2 · 12-3 · 12-4
- G1 동결 입력과 제출 구조
- G2 스키마·정책 규칙과 전이 완전성
- G3 임계치와 지표의 독립 재계산
- G4 가상 지표 판정과 결과 해시
합성 입력의 가상 지표입니다. 실제 코호트 평가가 아니며 임상 타당성 평가와 감사자 서명을 포함하지 않습니다.
synthetic_only19-1
- G1 동결 입력과 제출 구조
- G2 변이 주석과 ACMG 근거 귀속
- G3 가상 정답 재생과 순위 검증
- G4 독립 계산과 결과 해시 대조
가상 입력과 근거 코드 검사가 시험 범위입니다. 환자 VCF, 임상 성능, 감사자 서명은 포함하지 않습니다.
synthetic_only8-1
- G1 동결 입력과 제출 구조
- G2 스키마·프라이버시 원장·규칙표
- G3 지표와 상한의 독립 재계산
- G4 정답 사례와 출시 판정
코드가 만든 가상 다중오믹스 자료의 수치입니다. 실제 코호트(TCGA·GEO·MIMIC-IV)를 평가하지 않았고, 주 생성기(잠재 확산)는 명세만 있고 학습하지 않았으며, 감사자 서명을 포함하지 않습니다.
이종 모델 교차검증
판정은 검토 모델에 보낸 근거에만 해당합니다. UNCLEAR와 FIX_REQUIRED 행은 뒤따른 PASS 행과 함께 남깁니다.
| 날짜 | 검토 범위 | 검토 모델 | 판정 |
|---|---|---|---|
| 2026-11-14 | 19-1 HPO 점수 동치, 5위 경계, 가상 ACMG 근거 출처와 반려 | Claude Opus 5.5 | PASS |
| 2026-11-14 | 12개 과제 등록, 내부 목표와 공고 요구, 시험과 서명의 범위 | Claude Opus 5.5 | PASS |
| 2026-11-14 | 같은 두 범위에 대한 수정 전 Claude Haiku 검토 4건 | Claude Haiku | 2 UNCLEAR · 2 FIX_REQUIRED |
| 2026-11-14 | 공개 19-1 시간 분할, HPO 입력, 지표, ClinVar 대조 | Claude Opus 5.5 | PASS |
| 2026-11-14 | 공통 명부와 사이트 실측 첫 시도. 응답이 도중에 잘렸습니다 | Claude Opus 5.5 | UNCLEAR |
| 2026-11-14 | 공통 명부와 사이트 실측 최종 | Claude Opus 5.5 | PASS |
| 2026-11-14 | 12-1·12-3 통계 보증, 첫 검토 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 12-2·12-4 안전 불변식, 첫 검토 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 12-1·12-3 통계 보증, 지적 세 가지 반영 후 재검토 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 12-2·12-4 안전 불변식, 지적 세 가지 반영 후 재검토 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 사이트 통합 규약과 구현의 일치: 실패·미지 형식의 감사는 빌드를 멈추고 모든 검사 전에는 쓰지 않음 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 이아테온 대조 문서와 12-1~12-4 요약 문구, 첫 검토. 지목된 결함 없음 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 이아테온 대조 문서와 12-1~12-4 요약 문구, 절의 범위를 적은 뒤 재검토 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 감사 관문·규칙 표, 첫 검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | 감사 관문·규칙 표, 재검토 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 문헌 근거 단계, 첫 검토 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 문헌 근거 단계, 재검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | APOSTOLUS 이전, 첫 검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | APOSTOLUS 이전, 재검토 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | APOSTOLUS 이전, 3차 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 사이트 요약 문구 | azure/gpt-5.4-mini | PASS |
| 2026-11-14 | 16-2 하네스·명세, 첫 검토 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 16-3 하네스·명세, 첫 검토 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 16-2 하네스·명세, 재검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | 16-3 하네스·명세, 재검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | 16-2 하네스·명세, 3차 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 16-3 하네스·명세, 3차 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 16-2 감사기·재현 기록 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 16-3 감사기, 첫 검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | 16-3 감사기, 재검토 | azure/gpt-5.4-mini | FIX_REQUIRED |
| 2026-11-14 | 16-3 감사기, 3차 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 16-2 급변 검출 변형 | azure/gpt-5.4-mini | UNCLEAR |
| 2026-11-14 | 18-2 설계서와 핵심 모듈, 첫 검토 | azure/gpt-5.4-mini | 2 FIX_REQUIRED |
| 2026-11-14 | 18-2 게이트 수학·커널·감사 로그·규칙 엔진, 최종 이전 검토 | azure/gpt-6.1-sol | 8 FIX_REQUIRED |
| 2026-11-14 | 18-2 Gate B와 drift 감시의 수학, 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 18-2 감사 커널의 fail-closed와 감사 로그, 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 18-2 DUR 규칙 엔진과 MIMIC-IV 사상, 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 18-2 사이트 요약 문구와 감사 파일의 일치, 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 8-1 설계서와 핵심 모듈, 첫 검토 | azure/gpt-5.4-mini | 1 FIX_REQUIRED · 1 UNCLEAR |
| 2026-11-14 | 8-1 차분프라이버시 핵심, 최종 이전 검토 | azure/gpt-6.1-sol | 3 FIX_REQUIRED |
| 2026-11-14 | 8-1 차분프라이버시 핵심(민감도·회계·AUROC 상한), 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 8-1 보존율 판정·프라이버시 게이트·실측 대조, 최종 이전 검토 | azure/gpt-6.1-sol | 1 PASS · 1 FIX_REQUIRED |
| 2026-11-14 | 8-1 보존율 판정·프라이버시 게이트·실측 대조, 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 8-1 사이트 요약 문구와 감사 파일의 일치, 첫 검토 | azure/gpt-6.1-sol | FIX_REQUIRED |
| 2026-11-14 | 8-1 사이트 요약 문구와 감사 파일의 일치, 최종 | azure/gpt-6.1-sol | PASS |
| 2026-11-14 | 8-1 사이트 요약, 구조 상한 문장을 보정 증거에 연결한 뒤 재확인 | azure/gpt-6.1-sol | PASS |
이 검사가 보증하지 않는 것
가상 사례 일치는 코드가 작성자가 기대한 값을 냈다는 뜻입니다. 감사 통과는 두 번째 구현이 같은 입력에서 같은 수치에 도달했다는 뜻입니다. 어느 쪽도 실제 환자에서의 성능을 재지 않으며 외부 코호트나 감사자 서명을 대신하지 않습니다.