# 16-2 · 16-3 교차검증 이력 · 2026-11-14

세션 `fcf4f0f1-494f-46f2-babf-824818dcbcca`에 연결된 Aja 실행이다. 작성 모델은 Claude Fable 5.2이고 검토 모델은 다른 계열인 `azure/gpt-5.4-mini`다. 판정은 전달한 검토 자료의 범위에 한정한다.

| 검토 범위 | 판정 | Aja 실행 ID | Aja 기록 USD |
| --- | --- | --- | ---: |
| 16-2 하네스·명세, 첫 검토 | UNCLEAR | `3f503e47-a852-45d4-a445-7f60824cf28e` | 0.014158 |
| 16-3 하네스·명세, 첫 검토 | UNCLEAR | `32f9d21c-6174-4c1c-b518-45092286b4d0` | 0.012450 |
| 16-2 하네스·명세, 재검토 | FIX_REQUIRED | `a2804467-c21c-44ce-b77f-2c24add850db` | 0.015821 |
| 16-3 하네스·명세, 재검토 | FIX_REQUIRED | `b30317d5-ed22-43bb-95e6-fac25862930e` | 0.016956 |
| 16-2 하네스·명세, 3차 | UNCLEAR | `d8e545cb-4a25-428a-aa03-ee3b15b36861` | 0.017819 |
| 16-3 하네스·명세, 3차 | UNCLEAR | `0bf78da1-fa96-4fb1-8002-a5668e8fd1b4` | 0.009908 |
| 16-2 감사기·재현 기록 | UNCLEAR | `ea4b1a92-a5a4-4ffe-b280-2f4ccbf11f07` | 0.014414 |
| 16-3 감사기, 첫 검토 | FIX_REQUIRED | `5e772385-1659-43c6-bc38-e6a067d573e4` | 0.012744 |
| 16-3 감사기, 재검토 | FIX_REQUIRED | `4e9a432d-68e2-4758-ad90-e14468baae31` | 0.009433 |
| 16-3 감사기, 3차 | UNCLEAR | `e8112bd8-7639-44e3-95ec-eb650654b377` | 0.009142 |
| 16-2 급변 검출 변형 | UNCLEAR | `fbf85e7b-d7ab-478e-9861-0b79f04c84d5` | 0.017196 |

열한 건 합계 **$0.150042**, 건당 평균 **$0.013640**. 금액은 하네스 기록의 `metering.provider_credit.charged_usd`다.

마지막 검토의 기록 판정은 다섯 범위 모두 UNCLEAR다. PASS로 기록된 범위는 없다. 16-2 하네스·명세 3차는 검토 모델이 본문에서 결함이 없다고 답했지만 답이 JSON 원문으로 와서 하네스가 UNCLEAR로 기록했다. `cross-review --accept`는 실행하지 않았다.

## 검토 자료

원본 파일은 근거 합계 한도(32,768바이트)를 넘어 실행 전에 거절됐다(Aja 실행 없음). 그래서 함수 단위 발췌와 명세서 절 발췌를 `cog16/` 폴더에 두고 범위별로 나눠 보냈다. 코드 발췌는 `ast`로 원본에서 이름으로 잘라낸 것이며 손으로 옮겨 적지 않았다. 발췌본은 마지막 검토 시점의 원본과 같다.

- 16-2 코드 발췌, 16-2 주장 발췌 — 응답 생성기, 스케줄러의 결정·갱신, 수렴 판정, 판정 정의와 실측 요약.
- 16-3 코드 발췌, 16-3 주장 발췌 — DeLong, ECE, 경험적 베이즈 보정과 미관측 단위 처리, 명부 감사, 라벨 접근 통제 시험.
- 16-2 감사기 발췌, 16-3 감사기 발췌.

## 지적과 조치

| 지적 | 조치 |
| --- | --- |
| 16-2 수렴률이 판정 정의(창·유지 비율·기한)에 따라 81%에서 97%까지 달라진다. | 9장 맨 앞 요약과 9.4절 민감도 표에 올렸다. 95% 이상이라는 결론이 7.1절 정의 위에서만 성립한다고 적었다. |
| 16-2 반복 실행 하나가 하한·층별 게이트를 넘지 못한 것이 덜 드러난다. | 9.1절 표와 요약에 올리고 세 실행 합산 수치를 함께 적었다. |
| 16-3 대응 DeLong이 두 점수의 사례 정렬을 확인하지 않는다. | `delong_paired_cases`를 추가해 두 점수를 같은 라벨 벡터로 나누도록 했다. 하네스의 대응 비교는 모두 이 함수를 거친다. 길이가 다르면 거부하는 시험을 추가했다. 증거 블록은 바이트 단위로 같았다. |
| 16-3 ECE 구현이 문서의 식과 다르다. | 구간별 합의 차를 전체 수로 나눈 값은 문서의 식과 대수적으로 같다. 코드는 그대로 두고 주석에 항등식을 적었다. 감사기는 구간별 평균 형태로 따로 계산해 대조한다. |
| 16-3 명부 감사가 라벨이 흘러간 경로까지는 보지 못한다. | 라벨 접근 통제 시험을 추가했다. 외부 시험 라벨을 전부 뒤집어도 내부 지표가 같고 외부 AUROC가 정확히 보수가 되며, 보정용 라벨은 `CN_REF` 모드만 바꾼다. |
| 16-3 동점을 값의 정확 일치로 판정한다. | 전수 비교 정의의 동점과 같은 정의다. 허용오차 동점은 추이성이 깨지므로 그대로 두고 주석에 적었다. |
| 16-3 감사기가 1차 게이트 밖의 AUROC와 시드 반복·효과 배율 수치를 보고값 그대로 읽는다. | 게이트·효과 배율·시드 반복에 쓰인 AUROC와 DeLong 구간 21개의 사례별 점수를 증거 문서에 싣고, 감사기가 모두 다시 계산하도록 넓혔다. 16-3 수치는 바뀌지 않았다. |
| 16-3 감사기가 다시 계산한 뒤에도 판정과 `benchmark`에 보고값을 쓴다. | 게이트 문자열, 시드 반복 집계, `benchmark` 수치가 감사기 계산값에서 나오도록 고쳤다. 보고값은 허용오차 안에서 일치하는지만 확인한다. |
| 16-3 감사기가 관문 하나가 실패하면 뒤 관문을 `not_run`으로 남긴다. | 자매 패키지와 같은 형식이다. `auditStatus`가 `fail`로 남고 `benchmark`가 비므로 그대로 두고 재현 기록에 적었다. |
| 16-2 급변 검출의 재개방이 이후 난이도 선택을 바꾸는 경로가 설명에 없다. | 3.4절에 경로를 적었다. 1차 정책에서는 검출기가 꺼져 있고, 감사기가 1차 실행의 재개방 횟수 0을 확인한다. 1차·반복·기준 정책·분포 이동·결함 주입 실행의 수치는 검출기 추가 전 증거와 같았다. |

## 범위

- 검토 대상은 발췌 안의 주장·코드·수치의 상호 일치다. 발췌에 싣지 않은 함수는 단위 시험 61건과 독립 감사가 다룬다.
- 검토 모델은 여러 번 발췌만으로는 전체 일치를 확정할 수 없다고 답했다. 그 부분은 판정에 그대로 남아 있다.
- 실제 코호트 평가, 임상 타당성, 감사자 서명은 검토 대상이 아니다.