Question → Target

Readout Watch

Every evaluation lane, ordered by how ready it is, with the reference label it uses and what its readout still waits on.

16Manifest-locked lanesA case or group list is fixed by hash

4Rule-locked lanesThe split rule is fixed before the rows arrive

10Blocked lanesA needed label or linkage is missing

1Readouts recorded on public data19-1 on published cases

Lane records were written in Korean. Dataset names are given in English; the reference label and the waiting condition are shown as recorded.

30 / 30 lanes

Project	Evaluation lane	State	Reference label	What the readout waits on
5-1	Official D3R Grand Challenge 4 Free Energy Sets	Manifest locked	공식 답안의 양의 실험 친화도 필드를 화합물 ID로 연결한다. 제공기관 평가와 같이 동일 표적·측정 안에서 상대 차이와 중심화 RMSE(kcal/mol)를 비교한다. 농도 기반 에너지는 직접 열역학 측정과 별도로 해석한다.	원문 정답은 농도 기반 친화도이며 CatS 시험은 한 가지 주요 골격 계열이다. 전 표적·골격 독립이나 신약 후보의 합성·활성·안전성을 추정할 수 없다. 제공기관 공개 원본에서 입력·답안 73개의 ID·구조 문자열 일치를 확인했다.
8-1	TCGA-BRCA PanCancer Atlas RNA, copy number and progression data	Manifest locked	PFS_STATUS가 진행이고 PFS_MONTHS가 24 이하이면 양성이다. 24개월을 관찰했거나 그 후에 진행하면 음성이다. 24개월 전 검열과 상태·기간 결측은 제외한다. 기준과 합성 모델의 주 평가 지표는 동일 환자 시험셋 AUROC, 보존율은 합성 점수/실자료 점수다. 두 점수, 비율, 시험 분모와 신뢰구간을 함께 기록한다.	한 암종에서의 성능 보존 지표다. 시험 양성은 8명이다. 차분 프라이버시 및 천연 데이터에서 측정할 수 없는 조합 제약은 별도 시험이다. RNA·CNA 원행과 개인별 결과 라벨은 이번 산출물에 포함하지 않았다.
18-2	Official ePillID consumer images by product type	Manifest locked	공식 pilltype_id의 순위상 식별. Top-1과 Top-5 식별 정확도, 식별 보류율, 공식 mAP·GAP를 사진 쿼리 단위로 낸다. 양면 사진은 같은 제품 유형이고 앞뒤 방향이 각각 확인된 경우에만 별도 쌍 평가로 센다.	미국 낱알 자료다. 국내 품목이나 처방 누락률에 대한 정답을 주지 않는다. 3,728개는 소비자 사진 행 수이며 전체 참조 사진을 포함하지 않는다.
19-1	Monarch Phenopacket Store with the December 2022 Human Phenotype Ontology	Manifest locked	원 문헌에서 SOLVED 및 해당 사례의 CAUSATIVE로 보고된 단일 HGNC 유전자. 모든 적격 평가 사례가 상위 5위의 분모.	문헌 후향적 사례이며 진단 후 기록, 같은 가족 재보고 또는 간접 지식 중복은 남을 수 있다. 정답 유전자가 과거 지식에 없던 사례도 실패로 포함.
19-1	NCBI ClinVar GRCh38 VCF archive	Manifest locked	시험 사례에서 원 문헌이 보고한 GRCh38 SNV의 염색체·좌표·REF·ALT와 원인 유전자.	기지 변이의 데이터베이스 수록과 유전자 일치만 측정한다. 환자별 전체 VCF 유전자 판독, 임상 분류 또는 신규 증거 생성에는 해당하지 않는다.
16-2	Washington University OASIS-2 visit metadata	Manifest locked	같은 피험자의 방문 이후 관찰된 CDR을 보존하며 첫 평가와 다음 CDR이 있는 방문을 연속 쌍으로 묶는다. 예측 시점 이전 기록만 입력에 사용하고 다음 방문까지 일수와 실제 관측 점수를 함께 기록한다.	CDR 종단 변화는 치매 경과 보정 자료다. 문항별 정오답·난이도 적응·훈련 피로 반응 및 개입 인과효과는 여기서 확인할 수 없다.
16-3	OASIS-2 MRI visit metadata	Manifest locked	첫 방문의 관측된 동시 CDR 0과 ≥1을 비장애/장애 대리 정답으로 둔다. CDR 0.5와 결측은 제외하며 MRI 외의 CDR·MMSE·진단 이름을 특성에 넣지 않는다.	이 분할은 내부 MRI 분할이며 OASIS-2 CDR은 AD 원인 진단 정답이 아니다. 외부 MRI는 ADNI 개발 및 OASIS-3 고정 시험에서 동일 진단 정의·장비·시간을 다시 확인해야 한다. OASIS 프로젝트 간 중복을 증명할 수 없으면 같은 실험에 혼합하지 않는다.
18-1	UP-Fall Detection Dataset 2019	Manifest locked	각 원본 파일의 Subject, Activity, Trial 가운데 Activity의 공식 낙상/일상동작 분류가 정답이다. 전 시퀀스 분류로만 집계하며 충격 시작 이후의 정보 사용 여부와 함께 보고한다.	주체 그룹 배정만 확인했다. 원본 trial 목록과 영상은 확보하지 않았다. 젊은 참가자의 모의 낙상으로 병동 낙상 경보 성능을 추정하지 않는다.
18-1	KFall 2021	Manifest locked	동기 영상에서 주석한 Fall_onset_frame·Fall_Impact_frame을 정답으로 삼는다. 충격 마지막 관측값 이후 직전 구간의 인과성을 지키며 충격 최소 3초 전에 발령한 사건별 첫 경보를 센다. 그 이전 관측 구간이 없는 사건과 쓸 수 있는 사건의 분모를 함께 기록하고, 일상동작 시간당 오경보를 함께 낸다.	원본 센서와 라벨 파일 다운로드는 제공자의 신원·기관 확인 후 가능하다. 3초 이전 관측과 사건 프레임 정합성은 실제 시험 파일에서 확인한다. 고정 파일은 공식 주체 배정까지다.
18-3	CAMMA Cholec80 videos and tool annotations	Manifest locked	초당 1프레임에 기록된 7종 기구의 존재 레이블. 끝부분의 절반 이상이 보일 때 존재다. 기구별 AP, 사건 수와 영상당 미탐을 따로 낸다.	CC BY-NC-SA 4.0. 영상 내부 도구 유무의 주석이며 반입·반출의 개체 식별자나 현장 기구 수, 거즈 잔류 정답이 아니다. 이 산출물은 분할만 저장했다.
12-1	CDC NSSP annual national aggregate table	Manifest locked	해당 보고서 표에 실린 연도별 전체 응급실 방문 1만 건당 의심 방문 비율. 월평균 방문수 두 열을 함께 보존했다.	공개 집계 다섯 행의 보고 대조 범위다. 환자별 신호, 재현율, 특정 정신과 모집단은 측정 범위 밖이다.
12-2	ED-SAFE Table 2, JAMA Psychiatry	Manifest locked	원저 비교표가 수록한 단계별 52주 내 1회 이상 시도 집계 분자·분모와 출판 비율을 보존했다.	모집단에는 색인 시도와 관념이 함께 포함되며 이어진 정책 단계는 독립 코호트가 아니다. 전체 288명과 단계 합 287명의 출판값 차이는 보존했다.
12-2	APOSTOLUS protocol replay with C-SSRS reference	Manifest locked	사전에 작성한 가상 이벤트별 상태 전환 문자열 네 건을 그대로 대조한다. 입력·정답은 이벤트 토큰과 상태 문자열이다.	합성 소프트웨어 대조다. 연구용 C-SSRS의 사건 분류 원문만 참고한다. 실제 임상 금기 발화 위배율과 재시도 성능은 미측정이다.
12-3	WESAD, Universität Siegen	Manifest locked	배포자가 표기한 실험 구간의 중립·스트레스·즐거움 세 상태. 구간 경계를 넘거나 세 상태 밖인 창은 뺀다.	명부는 실제 공개 자료의 인덱스만 사용했다. 원 신호는 수집하지 않았다. 과학·비상업 이용과 출처 표기가 필요하다. 스트레스 분류는 고립 전환이나 의료 사건 지표를 산출하지 않는다.
12-4	APOSTOLUS handoff control with NIMH ASQ reference	Manifest locked	선행 위기 플래그와 동일한 논리 시각에 인계 이벤트가 이어지고 그 뒤 자유 응답이 없는 경우 정상 처리다. 지연·누락·순서 오류를 서로 구분한다.	NIMH 문서는 외래 의료환경의 참조 절차다. 이 하위 시험은 발화를 해석하거나 학생의 위기 여부를 분류하지 않는다. 실제 시계의 응답 지연이나 현장 전환율은 미측정이다.
12-4	CDC National YRBS Table 56	Manifest locked	고등학생 전국 조사에서 지난 12개월 자살시도 자기보고에 대한 가중 비율과 공식 95% 구간, 비가중 유효응답 수.	공개 집계 여섯 행의 보고 대조 범위다. 개별 상담·시각·인계 측정과는 모집틀 및 평가 단위가 다르다.
16-3	DementiaBank ADReSS Challenge 2020	Split rule locked	공식 spontaneous speech 세션의 AD/non-AD 레이블을 사용한다. 공식 시험 48명은 24/24다. MMSE는 별도 회귀 레이블이며 AD 입력에 포함하지 않는다.	미디어와 공식 훈련 ID는 DementiaBank 멤버 접근이 필요하다. 공개 시험 ID만 로컬에서 대조했다. 한국어·기관 간·MRI 결합 외부 성능을 추정하지 않는다.
18-3	CholecTrack20 CVPR 2025	Split rule locked	공식 JSON의 기구 유형별 track ID와 관찰 범위 내 위치, 가림 상태 및 구간별 궤적을 사용한다. 동일 구간의 개체 수와 추적 실패를 공식 정의별로 낸다.	공식 접근 신청 및 DUA가 필요하다. 기구 궤적과 수술 도구 총수는 봉합 전 거즈 잔류의 독립 정답을 포함하지 않는다.
12-2	NIMH NDA ED-SAFE Trial	Split rule locked	색인 방문 전후 확인된 시도와 퇴원 시각을 가지는 사람에서, 퇴원 뒤부터 색인 방문 52주 시점까지 최초의 치명·비치명 시도를 찾는다. C-SSRS 정의에 따라 전화 추적과 의무기록을 대조한 사건을 사용한다.	NDA 공개 목록만 확인했다. 환자 자료는 승인형이며 동일 사람의 퇴원 시각과 임상 종점 연결은 취득 전이다. 이 코호트는 유가족이나 생성 응답을 평가하지 않는다.
12-3	NHATS Sample Person and Other Person files	Split rule locked	동거, 중요한 일을 의논하는 관계, 종교 참여, 그 밖의 사회 활동을 합산한 0–4점 지표를 사용한다. 기준 라운드 2점 이상에서 이후 두 연속 라운드가 1점 이하인 경우 지속 전환으로 판정한다.	Public Use도 등록과 이용 조건 적용 대상이다. 환자·개인 수준 결과나 행을 외부 모델에 보내지 않는다. 고립 라벨과 결합 가능한 수동 센서가 확인되지 않았으며 이 종점은 자살 사건을 사용하지 않는다.
5-1	Direct thermodynamic measurements with independent scaffold groups	Blocked	신규 후보마다 온도·배치·실험 조건이 붙은 독립 결합 자유에너지 측정과 단일 참조 배치.	현재 D3R 농도 환산 결과로는 1 kcal/mol 직접 실측 목표를 판정하지 않는다.
18-2	MFDS pill identification and DUR with MIMIC-IV 3.1 as a candidate	Blocked	동일 품목의 실제 조제 낱알, 변경·취소 전 원처방, 투약 기록과 독립 오류 판정이 함께 있어야 한다.	식약처는 참조 이미지와 제품 ID를 제공한다. MIMIC-IV는 인증이 필요하고 시험에 필요한 독립 오류 정답이나 조제 낱알의 동일 기록 결합이 확인되지 않았다.
19-1	Paired patient-level VCF and HPO with adjudicated labels	Blocked	환자별 전체 변이 후보와 변이–질환 단위의 독립 임상 분류와 근거. 실측 순위와 정합성 판정은 별개.	현재 공개 시험에는 논문이 이미 보고한 원인 변이만 있고 환자별 전체 VCF와 독립 ACMG/AMP 정답은 없다.
16-2	ADNI longitudinal assessments and registered cognitive training trials	Blocked	동일한 세션의 시도 순서, 난이도, 정오답, 시간, 중단 이유를 직접 관측해야 한다. 가상 시험에서는 마지막 사전 명시 구간의 정답률 70–80%와 안전 중단을 별도로 샌다.	등록 임상연구는 실제 연구의 근거이며 원자료 수준 문항 로그는 확보하지 못했다. ADNI는 자격 승인과 이용 조건이 있다.
16-3	ADNI / OASIS-3 / DementiaBank	Blocked	같은 사람·진단 시점의 MRI 및 음성, 독립된 임상 진단과 기관을 묶는 공식 키.	검토한 자료에서 교차 모달리티의 동일 환자 키와 읽을 수 있는 종점이 확인되지 않았다. 이 목표의 외부 AUROC는 아직 측정할 수 없다.
18-1	FARSEEING observed falls and eICU-CRD 2.0	Blocked	병동 고위험 환자의 독립 판정 낙상 발생 시간과 동일 환자의 사전 센서 및 경보 타임스탬프.	FARSEEING은 실제 센서 낙상을 요청으로 제공하며 모든 사건의 병동·독립 영상 시작·3초 전 관측이 확인되지 않았다. 자격이 필요한 eICU에서 사전 센서와 연결된 독립 낙상 시각을 확인하지 못했다.
18-3	Independent instrument and sponge counts linked to video	Blocked	각 기구와 거즈의 보관·반입·반출·봉합 이전 최종 수량 및 불일치를 영상과 독립 대장으로 대조한다.	확보한 데이터에서 원래 요구한 수량 누락률 0%의 적격 실측 정답은 확인되지 않았다.
12-1	MIMIC-IV-Note	Blocked	기준 정신건강 진료 직후 24시간 안에 독립 판정으로 확인한 첫 급성 위기 사건과 사건 시각을 사용한다. 24시간 완전 추적에서 사건 없음만 음성으로 인정한다.	공개 설명에는 퇴원 요약·영상의학 보고서만 있고, 정규 정신과 관찰 시계열과 독립 급성 위기 시각 기록이 없다. 행 접근은 자격·교육·이용 동의가 필요하다. MHRN의 90일 연구는 사건 정의의 참고다.
12-2	Danish linked-register bereavement study	Blocked	가족·파트너 사별일과 결과 관측창을 고정하고 신규 사건을 따로 확인한다. 응답 안전성의 정답은 사전에 지정한 임상 검토 응답별 허용·금지 판정이다.	덴마크 레지스트리는 적격 기관 신청이 필요하다. 원저는 사건이 발생한 사례의 시간 비교 연구라 자체로 분류용 음성군을 제공하지 않는다. 공개 C-SSRS 분류 도구는 유가족 응답의 금기 판정표가 아니다.
12-4	AI-Hub Child and Adolescent Counselling Dataset	Blocked	12~17세 학교 상담에서 처음 확인 가능한 위기 사건과 독립 확인 시각, 인계 요청·완료 시각이 필요하다. 감지 재현율과 감지 후 즉시 전환율은 분모를 따로 집계한다.	AI-Hub 안내는 만 7~12세와 다섯 상담 위기단계, 상담 일시·발화 경계 시각을 제공한다. 이 정보에서 학교별 12~17세 코호트 전체와 독립 사건·인계 시각은 확인되지 않았다. 이용 신청은 내국인 대상이다.