생명과학 연구 결과가 프리프린트로 먼저 공개되면, 동료 심사를 거치며 주장이 뒤집히는 건 아닌지 의문이 따른다. bioRxiv를 대상으로 한 대규모 분석이 이 질문에 구체적인 숫자를 내놓았다. 나중에 학술지에 게재된 논문들에서 초록의 핵심 주장은 대체로 그대로였다. 다만 그 주장이 옳았는지까지는 이 연구가 답하지 않는다.

무엇을 비교했나

하오 인(Hao Yin), 루슬란 러스트(Ruslan Rust) 연구진은 2018년부터 2025년까지 게시된 bioRxiv 프리프린트 가운데 DOI로 동료 심사 원저 논문과 짝지을 수 있는 기록을 모두 추렸다. 이렇게 모은 7만 2644쌍 각각에서, 첫 프리프린트 버전과 출판된 초록을 비교했다. 본문 전체는 대상이 아니었다.

대형 언어 모델(Claude Sonnet 4.6)이 각 초록에서 주요 주장 하나와 부차 주장 최대 두 개를 추출한 뒤, 내용 변화를 '변화 없음·경미·중대'로, 단정 수위 변화를 '더 신중·더 단정·변화 없음'으로 분류했다. 중대 변화에는 주장 방향이 뒤집히거나, 효과 크기가 크게 달라지거나, 대상 집단이나 연구 설정이 바뀌거나, 효과의 성격 자체가 달라지거나, 주장이 통째로 교체된 경우가 포함됐다. 평가자 네 명이 독립적으로 표기한 550쌍 검증 집합에서, 모델과 사람 평가자 간 일치도는 평가자 간 일치도에 근접했다.

이 연구 자체도 프리프린트이며, 2026년 7월 29일 개정판(v2)이 올라왔다. 핵심 비율은 개정 전후로 유지됐다.

무엇이 남고, 무엇이 움직였나

주요 주장은 39.8%에서 그대로였고, 50.0%에서는 표현이나 단정 수위만 가볍게 손질됐으며, 중대하게 바뀐 경우는 10.2%였다. 핵심 주장 열 건 중 아홉 건 가까이는 학술지 게재 시점에도 유지되거나 미세하게만 다듬어진 셈이다.

확실성을 나타내는 표현이 움직일 때는 더 세게 단정하기보다 더 신중해지는 쪽이 많았다. 더 신중해진 경우가 8.4%, 더 단정해진 경우가 4.2%였다. 주장의 유형(기전·연관·기술·방법 등)도 대부분 유지됐고, 유형이 바뀔 때조차 대개 가까운 범주로 이동했으며 무효과(null) 결과로 바뀌는 경우는 드물었다.

수정 정도는 분야마다 달랐다. 세부 분석에서 주요 주장의 중대 변경 비율은 규모가 큰 분야 기준으로 생물정보학 7.2%에서 미생물학 17.5%까지 벌어졌다. 방법 관련 주장은 기술·연관·기전 주장보다 덜 바뀌었다. 프리프린트 게시부터 출판까지의 간격이 길수록 중대 변경도 늘었는데, 가장 빠른 삼분위에서는 7.0%, 가장 느린 삼분위에서는 14.1%였다. 학술지 인용 수준을 나눠 봐도 변화 없음·경미·중대의 큰 구성비는 비슷했고, 인용도가 높은 학술지도 예외가 아니었다.

이 숫자로 말할 수 없는 것

저자들은 결과의 경계를 분명히 그어 놓았다. 분석 대상은 설계상 '나중에 출판된 프리프린트'뿐이다. 기존 문헌은 bioRxiv 프리프린트 가운데 학술지에 실리지 않는 비율을 대략 30~35%로 추정하는데, 그 원고들은 이 비교 밖에 있다. 출판에 이른 쪽의 안정성이 프리프린트 전체의 신뢰도를 증명하지는 않는다.

분석 단위도 초록이다. 방법, 그림, 보충자료에 묻힌 변화는 잡히지 않는다. 여기서 '동료 심사'라고 부르는 구간은 실제로는 저자 수정, 심사 의견, 학술지 편집·생산이 합쳐진 결과다. 출판 90일 이내에 게시된 쌍이 약 11% 있었는데, 심사가 거의 끝난 뒤 올린 프리프린트일 수 있다. 그 쌍을 제외해도 중대 변경 비율은 10.2%에서 10.7%로만 움직였다.

무엇보다 주장의 안정성은 과학적 옳고 그름이 아니다. 바뀌지 않은 잘못된 주장은 여전히 잘못이다. Nature 보도에서도 일부 연구자는 같은 이유로 더 신중한 해석을 주문했다. 동료 심사는 초록에 잡히지 않는 방법·근거·유보를 다듬으면서도 핵심 문장은 남겨 둘 수 있다.

철회율 비교에서는, 제한된 학술지 집합에서 프리프린트를 올리지 않은 논문이 올린 논문보다 더 자주 철회된 것으로 나타났다. 저자들은 이 대비를 탐색적 결과로 본다. 사건 수가 적고, 관찰 기간을 맞추기 어려우며, 프리프린트 게시 자체가 무작위로 이뤄지지 않기 때문이다.

이 결과를 어떻게 쓰면 되나

실무적 교훈은 '프리프린트는 믿을 만하다'는 구호보다 좁고, 그만큼 쓸모가 있다. 나중에 학술지에 실리는 bioRxiv 연구라면, 초록의 핵심 주장은 동료 심사 뒤에도 대부분 익숙한 모습일 가능성이 크다. 표현이 움직일 때는 더 단정해지기보다 더 신중해질 쪽이 많다. 초기 문헌을 훑을 때의 지침은 이렇다. 핵심 주장을 읽을 가치 있는 잠정 신호로 보되 최종 결론으로 취급하지 말고, 범위·방향·크기가 실제로 바뀌는 소수 사례를 따로 주시하라.

이 연구는 동료 심사가 초록 수준에서 무엇을 하는지도 다시 보여 준다. 주장을 뒤집기보다 다듬고 유보를 붙이는 쪽에 가깝다. 대중 소통에 그 정도 품질 관리로 충분한지는 별도의 제도적 문제다. 주장의 안정성은 프리프린트를 둘러싼 걱정 중 앞부분, 즉 메시지가 살아남는지에만 답한다. 그 메시지가 원래 타당했는지라는 뒷부분에는 답하지 않는다.

Sources