社会科学論文、約3割で再分析の結果が変わる

米非営利団体COSは社会学や経済学などの論文を再分析し、約26%で当初の結論が変わると発表しました。コード添付で再現率が高まる傾向や、発表後の新データで結論が変わる例が報告されています。

米国の非営利団体センター・フォー・オープンサイエンス（COS）は、社会学や経済学、犯罪学などの分野で発表された論文を再分析した結果を公表しました。研究は透明性や再現性の向上を目的とし、成果は英科学誌ネイチャーの特集号などで発表されています。調査対象は2009〜2018年に発表された論文を含み、複数の個別研究で詳細な再検証が行われました。研究者らは再現性の確認が科学の基盤に関わると指摘しています。 報告された主な点： ・COSの一連の分析で、全体として約26%の論文で再分析により結論が変わったと報告されている。 ・1本目の解析では143本を調べ、105本（74%）で元の結論とおおむね一致した。 ・分析コードを論文に添付している場合は、同じ結論が得られる割合が約9割と高かった。 ・別の解析では、学術誌掲載済みの100件を専門家が再検証し、74%で結論を再現、2%では逆の結果になった。 ・さらに164本を対象に発表後に得られた新しいデータで再検討したところ、同じ結論だったのは81本（49%）にとどまった。 まとめ： 今回の一連の研究は、査読を経た論文でも再現性が一様ではないことを示しています。再現性は研究成果を社会で活用する上で重要な要素とされ、コードの共有や複数の研究を統合的に検討する意義が指摘されています。今後の追加の発表や具体的な対応策については、現時点では未定です。