# 평가 자료와 분할 확정 · 5-1, 8-1, 18-2, 16-2, 16-3, 18-1, 18-3

2026-11-14. 적격 정답, 접근 조건, 분할 파일을 일곱 과제에서 제공기관 문서와 대조했다. 8-1의 공개 다중오믹스 성능 보존 시험을 편성했다. 다른 여섯 과제는 원래 목표의 일부를 대리 자료에서 검증할 수 있다. 이번 실행은 자료·정답·분할 확인이다. 학습 또는 성능 측정은 하지 않았다. 후속 실험에서는 과제별 사전 적격성 규칙과 분할을 고정하고, 학습과 선택이 끝난 뒤에만 시험 입력과 별도 정답을 결합한다. 공개 답안의 역사적 시험 재생에 과거의 비공개 시험 자격을 부여하지 않는다.

| 과제 | 확보한 자료와 분할 | 고정한 정답 | 목표 달성에 필요한 추가 근거 |
| --- | --- | --- | --- |
| 5-1 | D3R GC4. 학습셋 없음, BACE1 검증 34, Cathepsin S 시험 39 | 실험 친화도에서 유도하는 동일 표적 내 상대 차이 및 중심화 RMSE | 새 후보의 직접 실측과 골격·표적군 외삽 |
| 8-1 | TCGA-BRCA PanCancer Atlas. 28개 수집기관 단위 학습 372, 검증 124, 시험 125 | cBioPortal의 24개월 이내 진행. 조기 검열 제외. 기준 대비 합성 학습 모델의 AUROC 보존율 | 차분 프라이버시 채택과 공개 프라이버시 경계 검증 |
| 18-2 | ePillID. 학습 2,238, 검증 745, 시험 745 소비자 이미지 | 공식 품목 유형 ID. 보류와 오식별을 각각 기록 | 국내 품목 검증 및 독립 판정이 있는 처방–조제–투약 연결 |
| 16-2 | OASIS-2. 피험자 150명, 373 방문, 적격 방문 쌍 223개 | 같은 참여자의 다음 방문 CDR과 관측 간격 | 적응형 훈련의 문항별 정오답·반응·중단 근거 |
| 16-3 | OASIS-2 피험자 분리, ADReSS 2020 시험 48명 고정 | MRI의 같은 방문 CDR과 음성의 공식 AD 레이블 | AD 진단이 연결된 동일인 MRI·음성과 외부 기관 전체 |
| 18-1 | UP-Fall 주체 학습 11, 검증 3, 시험 3. KFall은 공식 주체 32명 20/6/6 및 라벨 스키마 고정 | UP-Fall은 활동 종류. KFall은 영상과 동기화된 시작·충격 프레임 | KFall 승인 후 원본 록, 병동의 실제 낙상·사전 센서 연결 |
| 18-3 | Cholec80. 원본 주석 색인에서 수술 80개 확인. 40/8/32 | 영상 프레임의 7개 기구 존재 비트 | 수술 전체 기구 ID, 반입·반출과 잔류 거즈의 독립 대장 |

## 5-1 D3R GC4 상대 결합 에너지

D3R 저장소의 공개 고정 commit `a7df7f521c234a03c97c26fe3755784381156197`에서 BACE1·Cathepsin S 각 Free Energy Set의 참가자 파일과 사후 답안을 읽었다. 화합물 ID와 구조 문자열을 양쪽에서 대조해 34개 및 39개가 일대일로 일치함을 확인했다. 모든 친화도 값은 양의 유한 수다. 두 표적 간 원문 구조 문자열 정확 중복은 0건이다. 구조가 같은 이성질체, 염 형태, 골격군 여부를 이 확인만으로 판정할 수 없으므로 넓은 골격 일반화를 주장하지 않는다. GC3 CatS와 해당 표적의 사후 자료를 학습·보정 지식으로 사용한 사전 모델은 시험 오염 가능성을 기록한다. 분할은 APOSTOLUS가 정한 표적 단위의 검증·시험 구조다. D3R의 원래 두 표적 역사적 시험과 단일한 실험으로 합치지 않는다. [제공자 고정 파일 목록](https://github.com/drugdata/D3R_GC4/tree/a7df7f521c234a03c97c26fe3755784381156197/challenge_data) · [D3R 평가 정의](https://drugdesigndata.org/about/grand-challenge-4-evaluation-results) · [D3R 원저](https://pmc.ncbi.nlm.nih.gov/articles/PMC7261493/)

등록 대상은 이미 측정되어 공개된 친화도의 비교다. 제공기관 평가에 맞춰 표적·assay·기준 물질을 따로 두고 로그 비에서 정의한 상대량과 중심화 RMSE를 사용한다. 합성 가능성, 치료적 활성, 신규 후보의 직접 결합 자유에너지 결과는 이 벤치마크에서 측정할 수 없다. 신규 후보 목표는 표적과 골격이 분리된 직접 실측 세트가 확정될 때까지 보류한다.

## 8-1 TCGA-BRCA 다중오믹스 보존 시험

PanCancer Atlas 2018의 cBioPortal Datahub 스냅숏 `dda832891555904730395d476c5c888b2e1553e1`을 고정했다. 공개 case list의 RNA 1,082개, CNA 1,070개에서 같은 표본 교집합은 1,068개다. 공개 임상 표본표와 환자표를 ID로 연결하고, 같은 환자의 적격 원발 표본이 여러 개이면 표본 ID의 사전순 첫 행만 고른다. 조직 수집기관 ID가 비면 제외한다. 원본 임상 표본 1,084개 가운데 모달리티 불완전 또는 원발이 아닌 16개, 24개월 전 검열 445개, 결과 결측·불일치 2개를 제외했다. `PFS_STATUS=1:PROGRESSION` 및 `PFS_MONTHS≤24`를 양성으로 정의하고, 24개월 관찰이 있는 검열 또는 더 늦은 진행은 음성이다. [NCI PanCancer Atlas](https://gdc.cancer.gov/about-data/publications/pancanatlas) · [고정 cBioPortal 자료](https://github.com/cBioPortal/datahub/tree/dda832891555904730395d476c5c888b2e1553e1/public/brca_tcga_pan_can_atlas_2018) · [cBioPortal 생존 필드 규격](https://docs.cbioportal.org/file-formats/)

기관을 적격 환자 수 내림차순으로 정렬하고 같은 크기의 기관은 고정 네임스페이스의 SHA-256 순으로 정한다. 목표 60/20/20에서 현재 인원÷비율이 가장 작은 분할에 기관의 모든 환자를 한 번에 추가한다. 결과는 학습 372명(양성 42), 검증 124명(12), 시험 125명(8)이다. X는 RNA와 CNA에 한정하고 모든 스케일링·결측 처리·합성기의 적합은 학습 분할에서 한다. 고정 구조의 분류기를 실제 학습셋과 합성 학습셋에 각각 적합하고 동일한 시험셋에서 AUROC를 계산한다. 보존율은 합성 점수÷실자료 점수다. 기준 점수가 0 또는 하나의 정답군만 있을 때 비율을 산출할 수 없다. 시험셋에서 기준 점수가 우연 수준과 구분되는지와 양성 8명의 불확실성을 함께 보고한다. 권한 없는 원자료 전송, 실제 환자 재식별 및 원자료 행을 추정하는 절차 없이 공개 정보만으로 평가 규약을 검증한다.

## 18-2 ePillID와 국내 처방·조제 종점

공식 v1.0 ZIP의 5개 소비자 fold CSV만 추출하고 CRC 및 공식 fold별 소비자 여부를 확인했다. 이미지 ID와 품목 유형 ID를 모두 비교해 split 간 중복은 없었다. 960종의 소비자 사진 3,728행을 fold 0–2 학습, 3 검증, 4 시험으로 고정했다. 품목 유형별 소비자 사진이 분리되므로 같은 품목의 앞뒤 사진도 한 분할에서 처리한다. 공식 참조 사진은 NIH 제공 비교용이며 시험 제품의 참조 사진을 추론 단계에서 쓰는 공식 저예제 프로토콜을 따르되, 미리학습·보정에는 쓰지 않는다. 시험 사진에서 라벨 및 파일명·경로 등 모델로 흐를 수 있는 품목 식별서를 제거한다. 같은 제품 유형과 앞뒤 확인이 있는 경우만 두 사진의 평가를 구성한다. 단일 사진 및 두 사진 평가를 각각 보고하고 0오류라도 시험 분모와 불확실성을 남긴다. [공식 릴리스](https://github.com/usuyama/ePillID-benchmark/releases/tag/ePillID_data_v1.0) · [공식 벤치마크 논문](https://arxiv.org/html/2005.14288)

식약처 데이터는 국내 참조 이미지 및 품목 일련번호를 제공하며 인증키가 필요하다. MIMIC-IV의 투약 내역은 실제 진료 관측이지만 처방 원문, 조제 실물, 독립 오류 판정을 한 사건으로 연결한 시험 정답을 이번 범위에서 확인하지 못했다. 국내 품목 분할 또는 0% 결론을 ePillID에서 대신 얻을 수 없다. [식약처 낱알식별 API](https://www.data.go.kr/data/15057639/openapi.do) · [MIMIC-IV 3.1](https://physionet.org/content/mimiciv/3.1/)

## 16-2 OASIS-2 종단 지표와 훈련 반응

Washington University의 공개 XLSX에서 150개 피험자 그룹과 373개 MRI 방문 ID를 확인했다. 동일 환자의 방문을 조사 기준일부터 MRI까지 상대 일수와 방문 번호로 정렬한다. 실제 CDR이 있는 두 관측 사이의 연속 쌍만 쓰고, 다음 관측까지 간격과 누락 현황을 함께 남긴다. 전처리·가상 환자 보정에는 학습 환자 자료만 사용한다. 원래 인지훈련 계획의 세션 반응은 문항, 선택 난이도, 순서, 실제 반응과 중단 이유가 모두 필요하다. 가상 시험 이후 실제 훈련 효과를 비교하려면 이 결과와 대조군 또는 연구 설계가 적격이어야 한다. ADNI는 참가자 자료에 승인 절차가 있으며, 등록 인지훈련 연구의 논문 또는 연구명 목록만으로 문항 로그의 정답을 구성할 수 없다. [OASIS-2](https://sites.wustl.edu/oasisbrains/home/oasis-2/) · [ADNI 접근](https://adni.loni.usc.edu/data-samples/adni-data/) · [인지훈련 임상시험 등록 NCT02301546](https://clinicaltrials.gov/study/NCT02301546)

## 16-3 MRI 장애 판정과 음성 진단

16-2와 분할을 공유한다. 피험자의 첫 MRI 방문에서 CDR 0/≥1/그 외의 세 층으로 나눈 뒤, 각 층을 SHA-256 순서로 정렬하고 60/20/20의 가장 큰 소수 잔여를 먼저 배정했다. 전체 분할은 90/29/31명이다. CDR 0.5와 결측은 MRI 이진 진단에서 제외한다. 최종 분모는 학습 59명(양성 8), 검증 19명(2), 시험 20명(3)이다. MRI는 항상 같은 방문의 CDR과 비교하고 향후 방문 결과, 검사 요약, 나이·진단 등 약속되지 않은 입력을 끼워 넣지 않는다. 동일 방문 반복 촬영과 동일인의 모든 방문은 한 분할에 속한다. OASIS-2의 경우 CDR은 인지장애 단계의 대리 기준이다. Alzheimer’s disease의 병인 기준 확인에는 ADNI 개발 자료 및 OASIS-3 외부 자료의 진단·장비·수집기관을 다시 대조해야 한다. OASIS-2와 OASIS-3은 참여자 독립성이 확인되기 전 별도 시험으로 다룬다. [OASIS-2 공식 XLSX 및 MRI](https://sites.wustl.edu/oasisbrains/home/oasis-2/) · [OASIS-3 접근·정의](https://www.nitrc.org/projects/oasis3)

ADReSS는 AD/non-AD 레이블을 음성 판정에, MMSE는 별도 회귀에 제공한다. 공개 공식 시험 48명의 ID를 고정하고 양성·음성이 24개씩임을 검사했다. 음성·전사와 공식 학습 108명의 원본 자료는 DementiaBank 승인 후 접근한다. 정답은 이미 공개되었으므로 ID, 원본 정답 파일·해시를 별도 평가기에 두며 모델 입력에서는 진단 표기·MMSE·메타데이터를 제거한다. 동시 MRI와 음성이 같은 사람으로 연결된 원천 자료 및 독립 기관 진단이 없어 외부 멀티모달 AUROC는 보류했다. [ADReSS 2020 제공기관](https://talkbank.org/dementia/ADReSS-2020/) · [ADReSS 원저](https://www.isca-archive.org/interspeech_2020/luz20_interspeech.html)

## 18-1 실험 동작과 병동 낙상 시간

UP-Fall의 동작 클래스와 피험자 번호 1–17을 확인하고 주체별 학습·검증·시험을 11/3/3으로 고정했다. 영상·센서·반복 trial 및 윈도를 같은 분할에 넣는다. 원본 trial 리스트는 확인해야 하며 실내 모의 동작 분류에서 학습한 정답으로 충격 3초 전 경보를 채점할 수는 없다. KFall의 실제 파일은 신원·기관 승인 후에 받을 수 있다. 제공처가 영상으로 동기화한 타임스탬프에 `Fall_onset_frame`과 `Fall_Impact_frame`이 있다. 원저 그림 5의 SA06–SA38과 제공처의 SA34 누락 설명을 대조했다. 남은 32개 주체의 20/6/6을 고정했다. 승인 이후 주체·trial 목록과 센서 시간→라벨 프레임 매핑을 대조하고 사전 관측 3초가 있는 적격 분모와 누락 분모를 함께 기록한다. 일상동작 시간당 오경보도 기록한다. FARSEEING은 일상에서 기록된 센서 낙상 자료를 요청으로 제공한다고 보고했다. 이 자료에서도 실제 병동·독립 영상 시작·3초 선행 자료가 함께 있는지 확인해야 한다. 기존 자료에서 가능한 범위부터 외부 시험으로 두고 개발에 재사용하지 않는다. [UP-Fall 원저](https://doi.org/10.3390/s19091988) · [KFall 제공조건 및 프레임 정의](https://sites.google.com/view/kfalldataset) · [FARSEEING 원저](https://doi.org/10.1186/s11556-016-0168-9) · [eICU-CRD](https://physionet.org/content/eicu-crd/2.0/)

## 18-3 수술 도구 존재, 추적과 수량

CAMMA 공식 ZIP 중앙 디렉터리의 도구 주석 파일명을 바이트 범위로 확인했다. `video01`에서 `video80`까지 중복·누락이 없고 원본 영상 파일의 큰 다운로드 없이 수술 번호를 고정했다. 이 실험은 공식 문서와 중복 표를 기준으로 `01–40/41–48/49–80`을 선결정했다. CholecT50과 Endoscapes 등 다른 CAMMA 원본 재사용에 중복이 있으므로 같은 실험의 사전학습을 포함해 제외했다. 기구 끝의 절반 이상을 기준으로 한 제공자의 초당 1프레임 7종 존재 상태가 답이다. 영상의 전체 프레임 25fps와 답의 주석 주파수를 섞지 않는다. [CAMMA Cholec80, CC-BY-NC-SA 4.0](https://camma.unistra.fr/datasets/) · [제공기관 데이터 중복표](https://github.com/CAMMA-public/camma_dataset_overlaps/tree/8347b9f4cb02ebe739747903e6eada272ee9d25e)

CholecTrack20 공식 분할을 신청 후 수술 단위로 고정하면 프레임 내 도구 수, 장시간 추적, 실환자 자료에서의 ID 전환 오류를 별도 측정할 수 있다. 기존 Cholec80과 재사용된 수술이 있으므로 중복 검사는 필수다. 봉합 전 실제 잔류 거즈와 계수표를 매칭하는 독립 정답 및 실제 경보 성능은 여전히 보류다. [CholecTrack20 데이터와 접근 조건](https://github.com/CAMMA-public/cholectrack20) · [CVPR 2025 원저](https://openaccess.thecvf.com/content/CVPR2025/html/Nwoye_CholecTrack20_A_Multi-Perspective_Tracking_Dataset_for_Surgical_Tools_CVPR_2025_paper.html)

## 분할 파일과 대조값

분할 파일의 해시는 UTF-8/TSV/LF 파일 본문에서 구했다. 분야별 공식 데이터나 정답을 마스킹한 모델 입력은 실제 평가에 들어가기 전에 별도 실험 계획에서 만든다. 아래 파일에서는 공개 데이터셋의 사례에 고정 분할을 할당하고, 시험별 분모를 재현할 수 있는 공개 원본 목록과 해시를 보존한다. 알려진 공개 ID의 SHA-256은 조인 키로 쓰며 익명화를 대신하지 않는다. `manifest-provenance.json`의 `sourceFiles`는 다운로드한 원본 파일별 해시로 구성되며 Cholec80 예외는 전체 영상 압축본 대신 추출한 파일명 목록임을 기록했다.

| 분할 파일 | 행 | SHA-256 |
| --- | ---: | --- |
| `16-2-16-3-oasis2.tsv` | 373 | `db0d9f1c8ac6f703a4b61148b9fe97cecea7e70abb2b8178dbd0ed7fe02bb5fa` |
| `16-3-address2020-test.tsv` | 48 | `8e1892285febc891c7b379a6a2ce6a8a3c37929f25def7cbc354800eee906c8f` |
| `18-1-kfall-subjects.tsv` | 32 | `65190609382d2ae9a59ee4adaab8dcfc1d53d7b4da52ed707ff19e49286cb939` |
| `18-1-up-fall-subjects.tsv` | 17 | `8926d939d8f6a89542293ac138f6473d785bffb65ee6d183964da12be82aae55` |
| `18-2-epillid.tsv` | 3728 | `3d306ed4ace8844427c6fe893b6ef6307550f22ad24610994c699cebc5718479` |
| `18-3-cholec80.tsv` | 80 | `5bcd91385542801389843f00124c1b862b886a1ac2c856cd256271b370fd0fc4` |
| `5-1-d3r-gc4.tsv` | 73 | `732500904d034aef6b9a898c966bf8ac695dc5531ec342751c893556e3b6a78b` |
| `8-1-tcga-brca-pfi24.tsv` | 621 | `e0629084c39f8e96a45d4934aa58d7fd78ce300f34985ec213f1936f004a31d6` |

원본 접근과 분할 배정 증거는 분할 근거 기록에 있다.