論文査読について [戯言(学問)]
勤務先の昼休憩の一コマ。
A:先輩(工学博士) I:私(文学修士・法学修士)
昨日からの続き:
http://metaxu.blog.so-net.ne.jp/2018-06-21
A:「こうゆうことがあったんだ。大学院修了して就職した企業研究所で働いていた頃、下っ端は学術雑誌の中から製品開発のヒントになる研究探査をやらされていた。」
A:「入社したばかりの私も、海外の権威ある学会誌掲載の論文で、自社の研究の素材として使えそうなものを幾つかピックアップして、再現実験を行ってみたんだよ。」
I:「で、どうだったんですか?」
A:「これがもう、笑っちゃうぐらい再現性の欠けたトンチキなものばっかりだったよ…」
I:「それは確かに笑っちゃうしかねいですね。」
A:「とんでもない! その再現実験行うのに1件あたり数百万円どころか数千万円も使ったこともあったんだよ!」
I:「掛かった金銭・時間・スタッフのコストが莫大だったのに、結果はハズレだったということですか…」
A:「それも一つや二つどころじゃなかったからね、とんでもないリソースの無駄遣いだよ!」
I:「でも、それって学会誌の論文査読が上手く機能していないということじゃないですか?」
A:「ああ、それそれ。これもまた世間の人たちの多くが誤解しているけど、「論文査読は査読対象の論文内容の真偽を判定する場」ではないことを理解して欲しい。」
!:「すみません。それでは、一体何のために論文の査読を行っているのですか?」
A:「実は私、企業研究所を一度退職した後、再就職した政府関連の研究機関で論文査読を担当したことがあるんだ。」
!:「えっ! じゃあ、お願いですから、論文査読の場で実際に何が行われているのか、教えていただけないでしょうか…」
A:「端的に言うと、「極めて限定された形式的な審査」しか行っていないよ。」
!:「そ、そ、そんな…」
A:「まあ、ざっくり紹介すると、
・学会としてこの論文を公開する意義はあるのか
・過去の研究成果を充分精査した上での研究なのか
・通説・過去の研究成果との整合性および新規性
・問題設定は妥当なのか
・実験・観察は適切に行われたのか
・実験・観察データは適切に抽出・解析されたのか
・過去の類似する実験・観察データとの整合性
・データ処理中に記された数式・化学式は妥当か
・「結論」までの論述に問題はないか
こんなところかな…」
!:「よく分からないのですが、上に挙げた審査ポイントの中で最も重要なのは、「学会としてこの論文を公開する意義はあるのか」だと言うことですか?」
A:「その通り! 「過去の研究成果」云々と続くチェックポイントは、その問いに対する答えを導き出すための一連の審査でしかない。」
!:「なるほど! だからAさんは、「「論文査読は査読対象の論文内容の真偽を判定する場」ではない」と仰られたのですか…」
!:「でも、これって本当に表面的な審査でしかないですよね?」
A:「それは先も言っただろう! 内容の真偽まで踏み込んで責任持って検証するとなると、1件あたり数百万円どころか数千万円も掛かるって!」
I:「そうですか… 「論文査読は学会としてこの論文を公開する意義はあるのかを審査する場」だということですか…
!:「そう言えば、たしか2年前の『サイエンス』誌に、過去の学術雑誌に掲載された100の実験を追試した結果が発表されたことがありましたね…」
【注記】土日は自分の趣味趣向に沿った内容を投稿しますので、この続きは「6月25日」に掲載する予定です。
A:先輩(工学博士) I:私(文学修士・法学修士)
昨日からの続き:
http://metaxu.blog.so-net.ne.jp/2018-06-21
A:「こうゆうことがあったんだ。大学院修了して就職した企業研究所で働いていた頃、下っ端は学術雑誌の中から製品開発のヒントになる研究探査をやらされていた。」
A:「入社したばかりの私も、海外の権威ある学会誌掲載の論文で、自社の研究の素材として使えそうなものを幾つかピックアップして、再現実験を行ってみたんだよ。」
I:「で、どうだったんですか?」
A:「これがもう、笑っちゃうぐらい再現性の欠けたトンチキなものばっかりだったよ…」
I:「それは確かに笑っちゃうしかねいですね。」
A:「とんでもない! その再現実験行うのに1件あたり数百万円どころか数千万円も使ったこともあったんだよ!」
I:「掛かった金銭・時間・スタッフのコストが莫大だったのに、結果はハズレだったということですか…」
A:「それも一つや二つどころじゃなかったからね、とんでもないリソースの無駄遣いだよ!」
I:「でも、それって学会誌の論文査読が上手く機能していないということじゃないですか?」
A:「ああ、それそれ。これもまた世間の人たちの多くが誤解しているけど、「論文査読は査読対象の論文内容の真偽を判定する場」ではないことを理解して欲しい。」
!:「すみません。それでは、一体何のために論文の査読を行っているのですか?」
A:「実は私、企業研究所を一度退職した後、再就職した政府関連の研究機関で論文査読を担当したことがあるんだ。」
!:「えっ! じゃあ、お願いですから、論文査読の場で実際に何が行われているのか、教えていただけないでしょうか…」
A:「端的に言うと、「極めて限定された形式的な審査」しか行っていないよ。」
!:「そ、そ、そんな…」
A:「まあ、ざっくり紹介すると、
・学会としてこの論文を公開する意義はあるのか
・過去の研究成果を充分精査した上での研究なのか
・通説・過去の研究成果との整合性および新規性
・問題設定は妥当なのか
・実験・観察は適切に行われたのか
・実験・観察データは適切に抽出・解析されたのか
・過去の類似する実験・観察データとの整合性
・データ処理中に記された数式・化学式は妥当か
・「結論」までの論述に問題はないか
こんなところかな…」
!:「よく分からないのですが、上に挙げた審査ポイントの中で最も重要なのは、「学会としてこの論文を公開する意義はあるのか」だと言うことですか?」
A:「その通り! 「過去の研究成果」云々と続くチェックポイントは、その問いに対する答えを導き出すための一連の審査でしかない。」
!:「なるほど! だからAさんは、「「論文査読は査読対象の論文内容の真偽を判定する場」ではない」と仰られたのですか…」
!:「でも、これって本当に表面的な審査でしかないですよね?」
A:「それは先も言っただろう! 内容の真偽まで踏み込んで責任持って検証するとなると、1件あたり数百万円どころか数千万円も掛かるって!」
I:「そうですか… 「論文査読は学会としてこの論文を公開する意義はあるのかを審査する場」だということですか…
!:「そう言えば、たしか2年前の『サイエンス』誌に、過去の学術雑誌に掲載された100の実験を追試した結果が発表されたことがありましたね…」
【注記】土日は自分の趣味趣向に沿った内容を投稿しますので、この続きは「6月25日」に掲載する予定です。