Why Most Published Research Findings Are False 과제 요약 및 정리

빅데이터 2주차 과제 - Why Most Published Research Findings Are False 과제 요약 및 정리

• 출처:https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124

현재의 공개된 연구 결과가 거짓이라는 우려가 증가하고 있습니다. 연구 주장이 사실이라는 확률은 편견, 같은 질문에 대한 다른 연구들의 수, 중요하게는 각 과학 분야에서 조사된 관계 간의 관계가 없는 것에 대한 비율에 결정될 수 있습니다. 분야에서 수행된 연구, 효과 크기가 작거나 테스트된 관계의 더 많은 수와 적은 사전 선택 사항이 있을 때, 설계, 정의, 결과 및 분석 모드에서 더 큰 유연성이 있는 경우, 더 큰 재정 및 기타 관심과 편견이 있을 때, 그리고 더 많은 팀이 통계적 유의성을 찾아내어 과학 분야에 관여할 때, 연구 결과가 참일 가능성이 적습니다.

시뮬레이션은 대부분의 연구 설계 및 환경에서 연구 주장이 참일 때 보다 거짓이라는 것으로 나타났습니다. 또한 많은 현재의 과학 분야의 경우, 주장되는 연구 결과가 종종 일반적인 편견의 정확한 측정들이 될 수 있습니다.

이 글에서는 연구의 행위와 해석을 위해 이러한 문제의 시사점들을 논의합니다.

• 거짓 긍정적인 결과를 위한 프레임 워크를 모델링합니다.

연구는 p 값에 의해 가장 적절하게 대표적으로 요약되지는 않지만, 불행히도 의료 연구 기사가 p 값에만 오로지 해석되어야 한다는 광범위한 개념이 있습니다. 연구 결과는 공식 통계적 유의성, 효과적인 해결책, 위험 요소 또는 연관에 의한 모든 관계로서 정의됩니다.

“부정하는” 연구도 매우 유용합니다. “부정하는”은 실제로 부적절한 단어이며, 오해는 널리 퍼져 있습니다. 그러나 여기서 우리는 아무 가치 없는 발견이 아닌 존재하는 관계를 표적으로 하는 것을 목표로 할 것입니다. 연구 결과가 확실히 정확할 확률은 정확한 사전 확률 (연구를 하기 전에), 통계적 능력과 통계적 유의성의 수준에 달려 있습니다. 연구 결과가 과학 분야에서 정확한 관계의 황금 기준과 비교되는 2 × 2 표를 고려하십시오. 연구 분야에서는 관계가 존재하는 것에 대해 참과 거짓 가설을 모두 만들 수 있습니다. 분야에서 테스트한 것들 중에서 “관계가 없음”과의 “참인 관계”의 수의 비율을 R로 합시다. R은 분야의 특징이며, 수백만 가설 중 하나 또는 몇 가지 참인 관계를 겪을 가능성이 높거나 몇 가지 참인 관계를 탐색할지 여부에 따라 많이 다를 수 있습니다. 고려하자면 계산 단순성에서 참인 관계 (가설이 될 수 있는 많은 것) 또는 기존의 참의 관계 중 하나를 찾는 것과 유사합니다. 참의 관계의 사전 연구 확률은 R / (R + 1)입니다. 참인 관계를 찾는 연구 확률은 1 - β (Type II Type 오차율 1 마이너스)를 반영합니다. 존재하지 않을 때 관계를 주장할 확률은 Type I의 오차율, α를 반영합니다. C 관계가 분야에 시험되고 있다고 가정하면 2 × 2 테이블의 예상 값은 표1에 주어집니다. 공식 통계적 유의성을 달성하는 것에 대한 연구 결과가 주장된 후에는 참인 사전 연구 확률이 긍정적인 예측 값인 PPV 값입니다. PPV는 또한 거짓 긍정적인 보고서 확률이라고 불리는 Wacholder et al을 보완할 확률 이기도 합니다. 2 × 2 표에 따르면, PPV = (1 - β) R / (R-βR + α) 입니다. 따라서 (1 - β)R > α 이면 거짓보다는 연구 결과가 거의 참일 될 가능성이 큽니다. 일반적으로 대부분의 조사관의 대다수는 a = 0.05에 달려 있기 때문에 이것은 연구결과가 (1 - β)R> 0.05 이면 거짓보다 참이 될 가능성이 훨씬 크다는 것을 의미합니다.

from IPython.display import Image  # 주피터 노트북에 이미지 삽입
Image("C://Users/MyCom/jupyter-tutorial/대학원자료/빅데이터/data/20220312_163146_1.png")

from IPython.display import Image  # 주피터 노트북에 이미지 삽입
Image("C://Users/MyCom/jupyter-tutorial/대학원자료/빅데이터/data/20220312_163146_2.png")

대비 제어 연구에서는 위의 그림에서 PPV는 민감도, 특이성, 출현율으로 계산될 수 있습니다. P값이 0.05보다 크면 귀무가설이 참일 가능성이 높다는 것입니다. 귀무가설(null hypothesis, H0)이 맞다는 전제 하에, 통계 값(statistics)이 실제로 관측된 값 이상일 확률을 의미합니다. 반면 P값이 0.05 미만인 경우 평균 간에 차이가 없다는 귀무가설을 기각하고 유의한 차이가 있다는 결론을 내리게 됩니다. P값이 0.05보다 크면 큰 차이가 존재한다는 결론을 내릴 수 없습니다. 0.05 미만이면 유의하고(의미가 있다) 0.05를 초과하면 유의하지 않습니다. 통계적 유의성은 모집단에 대한 가설이 가지는 통계적 의미를 말합니다. 다시 말해서, 어떤 실험 결과 자료를 두고 “통계적으로 유의하다.”라고 하는 것은 확률적으로 봐서 단순한 우연이라고 생각되지 않을 정도로 의미가 있다는 뜻입니다. 반대로 “통계적으로 유의하지 않다.”라고 하는 것은 실험 결과가 단순한 우연일 수도 있다는 뜻입니다.

• 편차 – 예측 값이 정답과 얼마나 다른 가 (차이가 있는가, 떨어져 있는가, 멀게 있는가 등등)를 표현합니다. E[f^*(x)]: 예측 값 들의 평균입니다. f(x): 정답 값입니다. 둘을 빼면 정답과 예측 값이 서로 떨어진 거리를 알 수 있습니다. 이 거리는, 정답과 예측 값들이 서로 가까운지 먼 지를 알려주는 지표입니다.

from IPython.display import Image  # 주피터 노트북에 이미지 삽입
Image("C://Users/MyCom/jupyter-tutorial/대학원자료/빅데이터/data/20220312_155212_1.png")

연구 결과를 생성되지 않을 때 연구 결과를 생산하는 경향이 있는 다양한 디자인, 데이터, 분석 및 프리젠테이션 요인의 조합으로 편차를 정의하십시오. “연구 결과”가 아니었지만 분석된 비율을 u라고 합시다. 그럼에도 불구하고 결국은 편차로 인해 보도되지 않았습니다. 편차는 연구 설계, 데이터, 분석 및 프리젠테이션이 완벽하더라도 우연히 일부 결과가 거짓이라는 것을 일으키는 우연한 변동성과 혼동되어서는 안됩니다. 편차는 연구결과의 분석이나 보고에서 수정을 수반할 수 있습니다. 선택적 또는 왜곡된 보고는 이러한 편차의 전형적인 형태입니다. u가 참인 관계가 존재하는지 여부에 따라 의존하지 않는다고 가정할 수 있습니다. 이것은 일반적으로 어떤 관계가 참인지 아는 것이 불가능하기 때문에 불합리한 가정이 아닙니다. 편차 (표 2)의 존재 하에, 하나는 PPV = ([1 - β] R + uβR) / (R + α - βR + u-uα + uβR)을 가져오고, 1 - β ≤ 0.05 인 대부분의 상황이고 1 − β ≤ α가 제외하지 않는 한 u가 증가함에 따라 PPV가 감소합니다. 따라서 편차가 증가함에 따라 연구 결과가 참이 될 가능성이 상당히 감소합니다. 그림 1은 다른 수준의 검정력(1 – β) 및 다른 사전 학습 확률에 대한 것입니다. 예를 들어, 노이즈 [12]에서 대규모 측정 오차 관계가 손실되거나 조사관이 비효율적으로 데이터를 사용하거나 통계적으로 중요한 관계를 알 수 없거나 중요한 결과를 숨기는 경향이 있는 이해 상충이 있을 수 있습니다 [13]. 다양한 연구 분야에서 이러한 역방향 편차가 얼마나 자주 발생하는지에 대한 대규모 실증적인 증거가 없습니다. 그러나 역방향 편차가 공통적이지 않다는 것을 말하는 것은 아마도 공평합니다. 또한 측정 오차와 비효율적인 데이터의 사용은 단순한 구조 시대의 기술적 진보와 조사관의 기술적 진보가 점점 더 정교해지고 있기 때문에 덜 빈번한 문제가 될 것입니다. 역방향 편차는 위의 편차와 동일한 방식으로 모델링 될 수 있습니다. 또한 역뱡향 편차는 우연히 참인 관계를 잃게 할 수 있는 우연한 변동성과 혼동되어서는 안됩니다.

조사관 팀이 100,000 유전자 다형성 중 어느 하나가 정신 분열증에 대한 민감성과 관련되어 있는지 여부를 테스트하기 위해 전체 게놈 연관 연구를 수행한다고 가정합시다. R = 10 / 100,000 = 10-4이고, 정신 분열증과 관련된 다형성에 대한 예비 연구 확률은 R / (R + 1) = 10-4이기도 합니다. 우리가 연구가 α = 0.05에서 1.3의 오즈비의 연관성을 찾는 연구에 대해서도 60 %의 검정력을 가지고 있다고 가정해 봅시다. 그런 다음 통계적으로 유의한 연관이 0.05 임계 값을 간신히 교차하는 p 값으로 발견되면 이것이 참일 될 사전 연구 확률이 12 × 10-4 인 사전 연구 확률에 비해 약 12배 증가합니다.

• Corollary 1 : 과학 분야에서 수행 된 연구가 작을수록 연구 결과가 참일 가능성이 적습니다.

작은 샘플 크기는 더 작은 검정력을 의미하며, 참인 연구 결과를 위한 PPV는 검정력이 1 - β = 0.05로 감소함에 따라 감소합니다

검정력은 효과 크기와 관련이 있습니다. 현대 역학은 점점 더 작은 효과 크기를 목표로 하는 것입니다 [16]. 결과적으로 참인 연구 결과의 비율은 감소할 것으로 예상됩니다. 동일한 사고방식 면에서 참인 효과 크기가 과학 분야에서 매우 작으면 이 분야는 거의 유비쿼터스 거짓 긍정적인 주장에 의해 성가시게 될 것입니다. 예를 들어, 참인 유전적인 대다수 또는 복잡한 질병의 영양 결정 인자가 1.05 미만에 상대적 위험을 부여하면 유전적 또는 영양 역학은 크게 유토피아 시도가 될 것입니다.

• Corollary 3 : 과학 분야에서 테스트 된 관계의 선택의 수가 적거나 클 때 연구 결과가 참일 가능성이 적습니다.

위와 같이, 연구 결과가 참 인 경우 (PPV)인 사전 연구 확률은 많이 사전 연구 오즈비에 의존합니다. (여기서 오즈비는 어떤 사건이 일어날 가능성으로 p/(1-p)으로 표현됩니다, 성공확률/실패확률) 따라서 연구 결과는 가설 생성 실험에서 보다 III 무작위 조절 시험 또는 그 메타 분석과 같은 확증 설계에서 보다 실현될 가능성이 더 큽니다. 오즈비는 샘플링에서 생길 수 있는 편차를 최소화하여, 통계적 의미를 강화합니다.

표 4는 특정 연구 설계 및 환경의 특징 일 수 있는 다양한 유형의 상황, 참이 아닌 관계에 대한 비율, 편차를 위해 고안된 수식을 사용하여 시뮬레이션 결과를 제공합니다. 개입이 효과적 일 때 50 % 예비 연구 우연성으로 시작하고 적절하게 구동 된 무작위 통제 시험에서 발견되는 것은 결국 시간의 85 %가 결국 참입니다.

반대로, 풀링이 단 하나의 연구의 낮은 검정력을 “수정”하는 데 사용되는 결정적이 아닌 연구에서 메타 분석 결과는 R ≤ 1:3이면 거짓 일 것입니다. 거대한 테스트를 통해 테스트된 관계가 있는 발견 지향적인 연구에서 각 클레임 관계에 대한 PPV는 매우 낮습니다.

대부분의 현대 생물 의학 연구는 참인 발견을 위한 사전, 사후 연구 확률이 매우 낮은 부분에서 연구되고 있습니다. 연구 분야에서 발견될 수 있는 모든 부분에서 참인 결과가 없다고 가정해 봅시다. 과학의 역사는 우리에게 과학적 노력이 종종 현재의 이해를 바탕으로 적어도 참인 과학적 정보를 절대적으로 결코 산출이 아닌 분야에서 과거의 노력을 쏟아 냈다는 것을 우리에게 가르칩니다. “널 (null) 분야”에서는 모든 관찰된 효과 크기가 편차가 없을 때 우연히 null 주위가 다를 것으로 기대됩니다. 발견된 결과가 우연히 예상되는 것에서 벗어나는 정도는 우세한 편차의 완전한 측정일 것입니다.

주요 문제는 연구 질문에 참이 있는 것이 무엇인지 100 % 확실하게 알 수 있는 것은 불가능하다는 것입니다. 사후 확률을 향상시키는 몇 가지 방법이 있습니다. 대부분의 연구 질문은 많은 팀에서 다루어지며 어떤 단일 팀의 통계적으로 중요한 결과를 강조하는 것은 오해의 소지가 있습니다. 강화된 연구 기준을 통해 편차를 줄이고 편견을 억제하는 것이 도움이 될 수 있습니다. 그러나, 이는 성취가 어려울 수 있는 과학적 사고방식의 변화가 필요할 수 있습니다. 필드 내의 데이터 수집 또는 조사관의 일부 종류의 등록 또는 정보망 연결은 각각의 가설 생성 실험의 등록보다 실현 가능할 수 있습니다. 마지막으로 통계적 유의성을 추구하는 대신에 사전 연구 오즈비(R 가치 범위)에 대한 우리의 이해를 향상시켜야 합니다. 추측된 높은 R값은 때로는 확인될 수 있습니다. 최소한의 편차를 갖는 큰 연구는 실제로 얼마나 자주 확인되는지를 확인하기 위해 상대적으로 확립된 것으로 간주되는 연구 결과에 대해 수행되어야 합니다. 그럼에도 불구하고, 대부분의 새로운 발견은 매우 낮은 사전 연구 오즈비로 가설 생성 연구에서 계속해서 줄어들 것입니다.

따라서 관련 연구 분야 및 연구 설계에 대해 증명할 것들 중에서 얼마나 많은 관계가 참일 것으로 예상되는지에 대한 대략적인 가정을 하는 것은 불가피합니다.

넓은 분야는 고립된 연구 프로젝트에 대한 확률을 추정하기위한 몇 가지 지침을 산출할 수 있습니다.