Fabrication ねつ造「存在しないデータや研究成果を作成すること。」
Falsification 改ざん「操作」によって「データ」や「成果などを真正でないものに加工すること」。
Plagerism 剽窃、盗用 他の研究者の「アイディア」「方法」「データ」「結果」を「了解または適切な表示なく流用すること」。
- やると研究者人生がほぼ終わります。
- 理由: 研究者社会は相互信頼で成立しています。ウソをつかないことを前提に評価がされて、知識が共有されます。裏切ると、研究者社会全体が資源を浪費するので、厳罰処分されます。不正が露見するまで、他の研究者は存在しない現象を追求して苦しみます。
- STAP論文: 追試資源や継続研究資源の浪費、周辺研究まで疑いの目
- 不正をする人は自分の利得だけで社会への影響をほぼ無視
信用失墜 Questionable research practices (QRPs)
- データの未保存や再現性の欠如
- 不適切な統計手法
- ギフト・オーサーシップ (CRediT)
- 論文の多重投稿
- 利益相反によるバイアス
See a list of QRPs used in Dutch national survey (DNSRI) summarised here
蔓延度は不明ですが、結構深刻では?
例1: Dutch National Survey on Research Integrity (Gopalakrishna, Riet, Vink, Stoop, Wicherts, and Bouter, 2022):
- 15大学+7医学研究所、大学院生以上、61865人メール送達、6813人回答(11%)、過去3年
- 回答者内訳: 人文科学(全体の9%)、社会・行動科学(同29%)、生命・医学科学(同40%)、自然・工学科学(同22%)
- 大学院生(全体の30%)でも準教授以上(同30%)でも回答内容の傾向はほぼ同じ
FF(P) 8.3% engaged in any FF(P).
QRP 51.3% engaged frequently in at least 1 QRP.
Beh&Soc.Sci 5.7%
Beh&Soc.Sci 50.2%
蔓延度は不明ですが、結構深刻では?
例2: The International Research Integrity Survey (Allum, Reid, Bidoglia, Gaskell, Aubert Bonn, Buljan, Fuglsang, Horbach, Kavouras, Marusic, and et al., 2022):
- Web of Scienceのジャーナル21894誌・本、2016-2020年、816万 → 392万 → 375万 → 307万2372 (対象国: 米欧)
- Stratified random sampling (strata=natural, medical, social sciences and humanities)
- (おそらく)307万にemail送付 → 73757が回答 (ウェイト後回答率=7.2%) → 64074 (分析標本サイズ)
- 過去3年のQRP(IRISSupplementaryTable.xlsx, download)
ギフト・オーサーシップ: 69.0%(欧)、55.1%(米)
予想と矛盾する結果の秘匿: 25.8%(欧)、20.3%(米)
信念と矛盾する先行研究の無視: 20.5%(欧)、15.3%(米)
不完全な査読をする: 53.8%(欧)、49.7%(米)
剽窃: 6.4%(欧)、6.5%(米)
蔓延度は不明ですが、結構深刻では?
例5: ミクロ開発経済学研究者Asad Islamの複数論文でデータ不正(FF)の疑い
Institute For Replicationによる再現性分析で指摘
Retracted
- Journal of European Economics Association
- Economic Development and Cultural Change
- European Economic Review
- Economic Journal
- Journal of Public Economics (under review)
- (American Economic Journl: Micro)
- (Review of Economics and Statistics)
なぜFFPをするのか
Gino: HBS給与は1.4億円+印税+講演料、ばれなければ大金
- 日本の文系(<2000万円)だとFFPは割に合いません
- 国立医薬品食品衛生研究所所長で1900万円くらい
結構ばれる: Ginoは追試、食品衛生部長は内部通報、Islamは経済学界の再現可能性指向
オッズをよく知らないまま、自ら進んで引くのは賢くない
The university’s top governing board, the Harvard Corporation, decided this month to revoke Francesca Gino’s tenure and end her employment at Harvard Business School. (WGBH news)
自分は本当に大丈夫か?
- 対応: 調査委員会設置、事実認定、事実公表、処分、(科研費)文科省への事実・原因・処分の報告
- 成果を冗長に書く
- 要約が不正確
- どのような過程を踏んだか明記しない
- 図表の脚注に留意事項を説明するが本文は無記載
- 研究なのにダークパタン
- 過去著作の数段落を明示せずコピー、ただし、参考文献には掲載
Githubで研究過程を公開=ピア・レビューを活用
なぜQRPをするのか
成果を出したい、でも、今のままだと成果にならないと考えている
- 結果がはっきりしない
- 2つの結果が矛盾する
- 何を議論すべきかもよく分からない
- 不適切な統計手法
- データの未保存や再現性の欠如
- 曖昧な記述と結論…QRP?
- 結論は曖昧です、と明確に書けばok
- 単に記述を不明瞭にするのはごまかし=QRP
- 過程(データとコード)を公開
- Pre analysis planを公開・登録
なぜQRPをするのか
- ギフト・オーサーシップ
- 反例: ネットワーク理論: Erdős-Rényiモデル. Erdősは1525論文掲載
- 今までの研究に手を加えるだけ
- 他者の成果・アイディアを取り込む
- スポンサーの利益と研究結果が一致
- 余計な詮索をされたくない
- 利益相反があることを表明しない
- 研究が健全ならば、利益相反表明しない理由がない
大規模言語モデル(LLM)時代のリスク
Fabrication, falsification、plagerism回避のルール
- FF
- 自分でコードを書く、自分でexcelを操作する方が安心できます
大規模言語モデル(LLM)時代のリスク
作業委託を効率的にするための方針
- 「以下の出来事を時系列順に並べ替えて、日付と出来事の2列からなるtab separated text形式で出力して」
- 「この論文の数式を全部抜き出して」
- 「変数と定義をmdの表にして出力して」
真偽を確かめにくいが、作業の一部を担わせ、自分がその内容を確認する
- 「この論文の内容をこういうふうに要約して」
- 「(3)式から(5)式までの導出過程を詳細に説明して」
- 「この文章をもう少し簡単に言い換えて」
大規模言語モデル(LLM)時代のリスク
ある程度の理解があれば、データさえ与えると実証論文は書ける
- OpenAI’s DeepResearch: 研究課題を与える→分析手法を書かせる→その手法をRで実施するための指示書を書かせる
- 使える出力を得るためには、研究をある程度は理解して課題を書かねばならない
- Cursor: 指示書を読み込ませてRで(サンプル・データ作成コードもしくはデータ整形コードと)推計コードを書かせる→結果をquartoで出力させる
- その例
- 間違えも少しはあるようです
- cursorを繰り返し使うことで、データに関する作業や推計コードをミニマルで直感的に理解しやすい内容に修正可能、という声も
大規模言語モデル(LLM)時代のリスク
ある程度の理解があれば、データさえ与えると実証論文は書ける
- DeepResearch: 研究課題→分析手法→指示書
- Cursor: 指示書→推計コード→quartoで出力
- 方法が適している理由を自分が理解する前に論文が書ける
- コメントや疑問に自分は答えられない(が、LLMは答えられるかも)
- しかし、(何をやったかの)透明性はあるので、結果の解釈はできる
- 課題も機械に考えてもらい、こうした成果を量産するのが最適
- 新しい方法が出てきたら、既存の量産成果を批判し、量産成果修正
- 人間研究者: 量産型研究成果を扱っているとLLMに代替される
- Fill the gap in research…アルゴリズムで想定できるgapだと危うい
- データに新規性があれば代替されないが、常にデータを作るのは困難
