# 19-1 공개 문헌 유전자 순위 검증

Phenopacket Store 0.1.27의 문헌 사례에서 2024–2025년 공개분 1,874건을 평가했다. 상위 5위에 정답 유전자가 들어간 사례는 **172건(9.18%)**으로 내부 목표 90%에 미달했다. 호환되는 HPO 입력으로 후보 점수가 나온 사례는 1,873건이며, 고정 자료에 정답 유전자가 있던 것은 702건이었다. 정답 유전자 1,172건이 후보 사전에 없었으므로 전체 시험에서 이 사전으로 가능한 상한은 702/1,874(37.46%)다.

## 판정 기준

- 정답은 공개 Phenopacket의 `SOLVED` 해석에서 해당 사례에 귀속되고 `CAUSATIVE`로 등록된 단일 HGNC 유전자다. 한 사례의 여러 해석이 같은 유전자면 함께 계산하고, 유전자가 모호하거나 서로 다르면 제외했다. 표현형은 양성 HPO ID만 사용한다. 명시적 부정과 충돌하는 동일 용어는 뺀다. HPO 출처를 2022년 12월로 고정한 뒤 당시 식별되지 않는 용어를 점수에서 제외한다.
- 예측 입력은 사례 토큰과 양성 HPO ID 목록이다. 논문 ID, 진단, 보고 변이, 정답 유전자는 채점 단계에서 읽는다. 미채점 사례도 전체 분모에 넣는다. 공동 순위가 5위에 걸치면 동점군이 전부 5위 안에 있을 때 성공이다.
- 유전자마다 2022년 자료의 질환별 표현형 프로필을 만들고 질환별 최대 점수를 택한다. 관측 용어별로 가장 큰 공유 조상 정보량을 더한다. 정확 HPO 일치 수와 기존 표현형 등록 폭을 비교 기준으로 실행했다. 가중치와 순위는 역사 지식 파일에서 고정되며, 문헌 사례를 사용한 학습·튜닝 횟수는 0회다.
- 유전자·질환 쌍은 HGNC ID와 데이터 제공자의 질환 ID가 역사 지식에 모두 같은 값으로 존재할 때만 일치로 센다. ORPHA와 OMIM 사이 교차 매핑은 하위 그룹 판정에 사용하지 않았다.
- 연구 범위는 알려진 원인으로 보고된 사례의 후향적 순위 측정이다. 저자가 판독한 SNV만 ClinVar와 대조했다. 환자별 전체 VCF 원본, 원인 후보에 대한 블라인드 임상 정확도, ACMG/AMP 임상 분류는 별도 미실행이다. Phenopacket의 표현형은 발행 당시 사례 서술에서 변환됐으며, 진단 후 기록과 동일 환자·가족의 재보고 가능성이 남는다.

## 고정 분할

| 구분 | 최초 발행일 | 사례 | 논문 | 사용 범위 |
| --- | --- | ---: | ---: | --- |
| 과거 사례 | 2022-12-20까지 | 7,304 | 1,352 | 중복 검사에 사용 |
| 개발 구간 | 2022-12-21~2023-12-31 | 1,054 | 164 | 기준 모델의 관측, 튜닝 0회 |
| 평가 구간 | 2024-01-01~2025-12-31 | 1,874 | 204 | 결과 산출 |
| 기간 이후 | 2026-01-01부터 | 68 | 11 | 보관 |
| 제외 | 날짜를 구분해 기록 | 77 | — | 중복 5, 양성 HPO 없음 3, 원인 HGNC 유전자 불명확 69 |

전체 10,377건이 의존하는 1,733개 PMID의 최초 발행일은 Europe PMC에서 확인했다. 같은 PMID가 과거·개발·평가에 중복 배정되지 않았다. 정확 일치 시그니처는 원인 유전자, 양성 HPO 집합, 보고된 GRCh38 SNV 집합으로 만든다. 동일 시그니처를 가진 다른 논문은 발행일 순, 같은 날에는 낮은 PMID만 남긴다. 같은 논문 내 사례는 하나의 군집이다. 정답 SNV가 없거나 작성 방식이 달라진 사례의 동일인 여부는 확인하지 못했다. HPOA에 직접 적힌 평가 PMID는 0/204다. 다른 공개 경로의 기존 지식이나 간접 중복까지 배제하는 지표는 아니다.

## 실측

| 평가 | 결과 |
| --- | ---: |
| 공유 조상 정보량 상위 5위 | **172 / 1,874 (9.18%)** |
| 논문 군집 부트스트랩 95% 구간 | 1.21–20.96% |
| 논문별 성공률의 단순 평균 | 8.36% |
| 정확 HPO 일치 상위 5위 | 163 / 1,874 (8.70%) |
| 표현형 등록 폭 상위 5위 | 116 / 1,874 (6.19%) |
| 과거 자료에 정답 유전자 존재 | 172 / 702 (24.50%) |
| 과거에 동일 유전자·질환 ID 쌍 존재 | 166 / 377 (44.03%) |
| 과거에 동일 유전자·질환 ID 쌍 없음 | 6 / 1,497 (0.40%) |
| 2024년 | 167 / 1,312 (12.73%) |
| 2025년 | 5 / 562 (0.89%) |

GRCh38 보고 SNV가 있는 사례는 1,358건이었다. 해당 사례 중 공개 ClinVar 2022-12-17에서 염색체·위치·REF·ALT가 맞고 정답 유전자도 일치한 사례가 356건이었다. 1,444개 사례별 변이 행 중 361행에서 일치했다. 같은 변이를 여러 사례에서 보고할 수 있어 별도로 집계했다. 고유 변이는 691개, 과거 ClinVar에서 좌표와 대립유전자가 일치한 것은 125개였다. ClinVar 조회는 문헌이 보고한 변이의 옛 기록 범위를 보여주며, 표현형 순위 입력에는 포함되지 않았다.

## 재실행

프로젝트 루트. Python 3.10 이상. 작업 폴더를 하나 만들고 공개 파일을 내려받은 뒤 네트워크 없이 재실행할 수 있다.

```sh
apostolus_inputs="$(mktemp -d)"
python3 -B gate1/rare19/download.py --raw "$apostolus_inputs"
gate1/rare19/replay.sh "$apostolus_inputs"
```

- 고정 데이터는 protocol.json, 발행일은 publication-dates.tsv, 분할·일시 입력·정답의 해시는 split-lock.json에 있다.
- 분할 명부에는 사례 토큰, PMID, 날짜와 구획만 있다. 토큰은 재실행 대조 키다. 논문 원문이나 개별 표현형·변이·정답은 배포하지 않는다. 집계 결과에는 분모, 해시, 하위 그룹 및 비교 결과가 포함된다.
- 실행기는 임시 분할을 원자료에서 다시 만들고, 순위 작업의 입력 폴더에는 역사 지식 파일 세 개와 HPO 입력만 복사한다. 실행기와 채점은 각 명령으로 분리되며 같은 운영체제 사용자 권한으로 실행한다.

## 원자료

- [Phenopacket Store 0.1.27](https://github.com/monarch-initiative/phenopacket-store/releases/tag/0.1.27) · [공개 문헌 사례 큐레이션 설명](https://pmc.ncbi.nlm.nih.gov/articles/PMC11564936/)
- HPO Consortium의 [HPO v2022-12-15](https://github.com/obophenotype/human-phenotype-ontology/releases/tag/v2022-12-15)와 같은 릴리스의 유전자–표현형 연관, HPOA(파일 헤더 2022-12-20)를 사용한다. [HPO 사용 조건](https://human-phenotype-ontology.github.io/license.html)
- [HGNC 2022-10-01 분기 기록](https://hgnc.genenames.org/download/archive/quarterly/tsv/) · [Europe PMC 발행일 정의](https://dev.europepmc.org/RestfulWebService) · [NCBI ClinVar GRCh38 VCF 역사 파일](https://ftp.ncbi.nlm.nih.gov/pub/clinvar/vcf_GRCh38/archive_2.0/2022/) · [ClinVar 파일의 적용 범위](https://www.ncbi.nlm.nih.gov/clinvar/docs/ftp_primer/)