연구 방법

주장이 들어오는 방식

결과는 감사 문서를 가리키는 요약을 통해 사이트에 들어옵니다. 문장 안의 수치는 사이트를 만들 때 그 문서에서 읽으므로 문장이 증거와 어긋날 수 없습니다. 감사가 통과하지 않았거나 감사한 실행 문서가 바뀌었으면 빌드가 멈춥니다.

네 가지 감사 관문

1. 1. 자료 고정과 분리

   출처, 접근 조건, 적격 결과 변수, 시점, 학습·평가 분리, 입력 해시를 감사자가 먼저 확인합니다.

2. 2. 규칙과 근거 검사

   근거에서 값을 다시 계산합니다. 미등록 자료, 규칙과 증거의 불일치, 누수는 계산 결과를 반려합니다.

3. 3. 반례와 독립 코호트

   학습에 쓰지 않은 자료에서 평가합니다. 모집 대상이나 결과 변수가 다르면 보류 근거를 남깁니다.

4. 4. 격리 재실행과 서명

   고정 입력으로 재실행해 결과를 대조합니다. 감사자는 자동 판정과 별도로 서명합니다.

네 관문의 현재 상태 · 평가 자료 등록부

연구 역할

네 가지 수치를 구분합니다

• 계획 수치는 평가 전에 적은 목표입니다.
• 가상 시험 실측은 코드가 만든 입력에서 코드와 판정 규칙을 시험합니다.
• 공개 자료·외부 코호트 실측은 방법이 만들지 않은 사례에서 잽니다.
• 감사자 서명은 사람이 결과를 재실행하고 받아들였음을 기록합니다.

위기 예방 과제의 기록 원칙

12-1~12-4의 명세, 코드, 고정 입력, 증거는 추상 정책 코드와 자리표시자 토큰을 씁니다. 자해 서술, 발화 예시, 은어, 금기 문장 목록을 싣지 않습니다. 승인 문구는 저장소 밖에 두고 해시로 대조합니다.

기록의 언어

화면은 영어와 한국어로 싣습니다. 설계 명세, 재현 기록, 평가 경로 기록은 한국어로 썼습니다.