2021年5月9日日曜日

論文の査読制度

論文や学会発表において第三者がレビューをして採否を審査する「査読」という制度がある.アカデミアにおいてはごく一般的な慣習だが,馴染みのない方も多いかと思われる.

なんのために査読があるのか,結論を先に述べると,それは論文や発表の質を担保するためである.

次の図は,拙書(飯尾, 2019)の「2.5 客観的な情報であるべき『論文』」から引用したものである.論文誌に原稿が投稿されてから出版に至るまでのプロセスを示している.

実際に出版に至るまでには,通常,複数回の査読が行われる.このプロセスにより,内容に問題がないか,この原稿は学術的に価値のあるものかどうかをチェックしており,そのチェックをクリアしたものだけが(建前上は)科学に貢献するという建て付けになっている.

研究者の努力に支えられた査読制度

質の保証という意味で査読制度がそれなりに有効に働いているのはこれは紛れもない事実で,それを研究者のボランティアが支えている.査読という作業に対して謝金が出る場合が「ごく稀に」あるが,実際には,ほぼ,無償奉仕の作業である.私自身,記述言語の日本語・英語を問わず,年に少なくない数の論文を査読しており,それなりに貴重な時間を費やして協力している.

なぜ,私はボランティアで査読に協力するのだろうか.それは,若かりし頃にどうしようもない論文を何報も投稿しては不採録または条件付き採録を繰り返してきた私,未熟な若輩者であった私を厳しい査読の過程で指導してくださった,良識ある査読者からなる科学コミュニティの皆様への恩返しの気持ちがあるからである.

いまでも,不採録通知に記された「このテーマに関して論じるのであれば,この論文を読みなさい」などの丁寧な指導は記憶に残っている.当時,不誠実な査読者にあまり当たらなかったのは,ラッキーだったといえよう.酷い査読者のレビューは意図的に忘れてしまったのかもしれないが.

問われる査読者の力量

ところが,この査読という制度,残念ながら品質の担保という面でも完璧なものではなく,査読者にそれなりの力量が求められるのも確かではある.以前,「あんた標本化定理(※1)って知ってるか?」というレベルの,理論的な信頼性が欠如している論文を査読したことがある.その論文はリジェクトして戻したが,1年後ぐらいだったか,別の学会の某トランザクション(※2)にその論文が掲載されていたのに気付いたのには唖然とした.そういう例もある.

査読で有用性や新規性を的確にチェックするのは難しいという指摘(鳥海, 2021)もある,新規性は,通常,関連研究を引いて「いままではこうだったけど,僕らのはこの点で違うからエラい」とやって示す.しかし,サーベイには限界があるので,査読者の知見をもってしても漏れは生じうるものであり,ある程度は致し方ないところがある.

もっとも研究者側も研究倫理というかきちんとしたルールは守っていただきたいところはある.ある学会に投稿された原稿が私のところに回ってきたが,査読の結果,掲載の基準には達していないと判断し,リジェクトした.ところがその数週間後,全く同じ論文に関する査読依頼が再び別の学会から回ってきた.不採録理由として私が示した改善点は,一切,更新されておらず,全く同じものである(※3).

こういうのは「即,却下」である.不採録理由は一言「某学会で指摘された改善点が更新されていない」で十分.しょせんニッチな研究テーマなので,複数の経路で同じ査読者にたどり着くことは蓋然性が高い.そのくらいの想像力は研究者の常識として持っていていただきたいものである.

考え方や査読方針の差異

落とすこと,あるいは文句つけることが権威だと勘違いしてる査読者をたまにみかけるが,そのような査読者の存在が査読制度の落とし穴になっていることにも留意したい.また,自分の専門知識や慣習に固執する査読者が散見されることも事実.たとえば関連研究のセクションを置く位置について,こんな話がある.

私は,Simon P. Jones がHow to write a great research paper(Jones, 2018)で言及している「読者の興味は『あなたの主張』にあるのであって,関連研究になんてほとんどの読者は興味ないんだから,後でいいでしょ?」という考え方に強く共感する.それ故に,通常,論文の最後に置く「まとめと将来展望」のひとつ前に,関連研究への言及を置くスタイルを好む.

しかし,石頭の査読者にあたると「関連研究は序章の次に置くべきだ云々」と古臭い指摘をされることがある.驚くべきことにというか残念ながらというか,私は,けっこうな頻度でこの指摘を経験している.まあ,条件付き採録(※4)を頂戴したときは投稿者は弱い立場であり,査読者に喧嘩を吹っかけるのは得策ではないので,(はいはい守旧派ごくろうさん)と思いつつも自我を押し殺して査読者様の仰るとおりに修正する.ただし,回答書(※5)には「Simon P. Jones の意見が正しいと思うけれども今回は査読者の指摘に従います」というコメントを忘れずに入れる.私もまだまだ青いなと思う次第である.

なお,小さな学会では甘めに査読することも多いだろう.私が論文誌の編集委員をやっている人間中心設計推進機構の場合,投稿者や発表者のなかに,そもそも論文投稿に慣れていない人も多くいる.そこで,査読者には,教育的な意味も含めて「甘めに査読して条件付きでも論文投稿自体を鼓舞するような指摘をしてください」とお願いしている.また,ぶっちゃけ話をすると,小規模学会では論文を投稿する可能性を持つ母集団の小ささに比例して投稿数も少なく,厳しく査読すると論文数が足りなくなってしまう,という台所事情もあろう.

その他,査読制度が抱える現在の問題点と対策については,同志社大学の佐藤が詳しく論じている(佐藤, 2014,  2016).参考にされたい.

査読のない論文

前項まで査読論文に焦点を当てて論じてきたが,世の中には「紀要」と呼ばれる論文集も存在する.紀要とは,大学等が勝手に出している論文集で,査読なしのものが多い.査読のプロセスがないので,論文の体裁さえ整っていれば掲載してもらえる.したがって,研究業績としての価値はあまり高くないものとされる.

ところで,もし,学術論文誌も含めて世の中に査読制度が全く存在しなかったらどうなるだろうか.まず,品質の伴わない論文が世の中に多数出回ることになる.そのような論文を読まされるのはしんどく,非効率であるという問題が生じる.また,読む人の時間がもったいないだけでなく,社会に悪影響が及ぶケースもある.

こんな例が実際にあった.

中部地方某県にある国立大学の紀要に掲載されていた論文のなかに明らかに間違った主張があり,ところがそれを引用してSNSで「大学の先生が論文で主張しているんだから間違いない」のような権威付けがなされて,間違った事実が流布されてしまったというケースである.私の関連分野でもあり,困ったなーと苦々しく感じていただけでなく,「それは紀要だから誰もチェックしておらず,間違っている情報が記載されているのだよ」と叫ぼうにも,誰も聞く耳を持たず,という状況が生じた.そういうのはダメだろう.

プレプリントや紀要の意義

ところで,最近はプレプリントサーバー(※6)なるものが流行ってきているらしい(尾城, 2020,林, 2020).プレプリントは速報性が担保されるというメリットはあるが,プレプリントが広まると,流通する論文の質が一気に低下することを懸念している.その結果として,情報検索時のノイズが増えるのではないかとちょっと危惧する.プレプリントというのは査読を経てない書きっぱなしの論文なので,質が担保されない.まあ,これは紀要を弾く手順と同様にすればいいのか…… やや面倒ではあるな.

紀要といえば,鹿児島大学の菅野による「紀要なるものを『知った』」という記事(菅野, 2017)が興味深い.紀要委員という立場で,大学の紀要にどのような意義があるかを冷静に論じている.「日本では,業績は論文の “数” こそがものを言う場面が多いので,査読付き論文はないのに紀要ばかり書いて数を稼ぐ研究者もいると,よく研究者界隈では揶揄されている」という指摘は耳が痛い.私が紀要論文を何本か書いているのは,けして,論文数を稼ぐため,ではないけれど(※7).

自由奔放な論文が収録されていることを逆手にとって,紀要をエンターテイメント的に楽しむ人もいる.「ヘンな論文」(サンキュータツオ, 2015)およびその続編などは,楽しく読むことができる.そこで紹介されている研究をけして蔑むものではないが,「研究」というものへの間口を広げるためのツールとして,それなりに意義のある書籍ではあろう.

私の印象にとても残っているユニークな研究は,文教大学の福島によるものである.福島は,「観光英語」と銘打って,日本国内の観光地にある英語の案内を分析して回るという研究をずっと行われていた(福島, 2020, 他)ようで,同大学の紀要で私はそれを知った(※8).その汎用性の高さに私は舌を巻き,いいもの見つけられましたな,いや,ライフワークなんだろうなあと感心した.観光英語の続きが気になるところだが,残念ながら2019年に定年でご退職なさったようだ.

まとめ

最後はなんとなくとりとめもない話になってしまったが,かように,科学技術分野における知見の蓄積は研究を推進する研究者本人だけでなく,それを取り巻く様々な人々に支えられているのだということを知っていただきたい.その中に査読者や編集委員なども含まれる.彼ら彼女らは自組織に戻れば自分の研究を進める研究者であることがほとんどである.このような互助努力で科学コミュニティは支えられてきたし,おそらくは,これからも支えられていくのだ.

(短い補足ですが続きもあるのでそちらもどうぞ → 次へ

参考文献

  • 飯尾 淳 (2019) 情報を集める技術・伝える技術 情報社会の一員として備えておくべき基礎知識,近代科学社Digital
  • 鳥海 不二夫 (2021) 私の論文が採録されないのはどう考えても編集委員会が悪い!,人工知能, 36巻, 3号, p. 312
  • Jones, S. P. (2018) How  to Write a Great Research Paper, 2017 Imperial College Computing Student Workshop (ICCSW 2017), OpenAccess Series in Informatics (OASIcs), Vol. 60, DOI:10.4230/OASIcs.ICCSW.2017.1
  • 佐藤 翔 (2014) 査読をめぐる新たな問題, カレントアウェアネス, (321), CA1829, pp. 9-13.
  • 佐藤 翔 (2016) 査読の抱える問題とその対応策, 情報の科学と技術, Vol. 66, No. 3, pp. 115-121.
  • 尾城 孝一 (2020) 進化するプレプリントの風景, 情報の科学と技術, 70巻, 2号, pp. 83-86
  • 林 和弘 (2020) ほらいずん MedRxiv, ChemRxivにみるプレプリントファーストへの変化の兆しとオープンサイエンス時代の研究論文, STI horizon = STIホライズン : イノベーションの新地平を拓く, Vol. 6, No. 1, pp. 26-31
  • 菅野 康太 (2017) 紀要なるものを「知った」, Synapse the world, https://can-no.com/archives/802, (accessed at 9th May, 2021).
  • サンキュータツオ (2015) ヘンな論文,角川学芸出版
  • 福島 一人 (2020)  観光英語(17):長崎県、島根県、山口県に見られる歴史的キリスト教関連遺産の総合案内板の英語, 情報研究, Vol. 62, pp. 31-53

  1. 信号処理を扱う分野(情報系も含む)であれば大学のわりと早い時期に習うはずの定理.
  2. この論文誌も歴とした査読付き論文誌のはずなんだがなあ.
  3. 通常,不採録として返却した論文は破棄することになっているので,記憶を辿って同一性を判断したが,一字一句同じだったかはともかく,論旨や骨格は記憶のそれと全く同じであった.
  4. 条件付き採録でもゆめゆめ油断するべからず.図に示したように,突きつけられた条件を満足にクリアできないと不採録を喰らうことがある.経験者は語る.
  5. 条件付き採録あるいは条件付き再審査等のステータスを受けたときには,各条件をクリアすべく修正した論文を再提出する.一般的には,その際に「ここをこう直しました」と,詳細な説明を回答書と呼ばれる書類に記し,それも提出することになっている.
  6. プレプリントとは,査読を経ていない書いたままの論文である.第三者の目が入っていないので質が担保されないが,速報性という点では意義がある.
  7. いろいろとオトナの事情があるのだ.
  8. まあ,実際には検索してたまたま見つけて,たどり着いたのだが.

0 件のコメント:

コメントを投稿