第5回学術政策セミナー

講演録公開大学の研究力の測定と可視化

開催日時

• 第5回学術政策セミナー
• 2016年11月25日 14:00-16:00
• 大阪大学テクノアライアンス棟1F　アライアンスホール

開催概要

第5回学術政策セミナー（平成28年11月実施）は、「大学の研究力の測定と可視化」というテーマで開催しました。大学には定まった指標が存在せず、各大学が独自の指標を用いたり、格付け会社が発表する大学ランキングを参考にしているのが現状です。創立100周年（2031年）に世界屈指の研究型総合大学になることを目指している大阪大学では、研究に関する指標は特に重要であり、市中に存在する指標を参考にしつつも、大学の経営に資する指標の導入を行う必要があります。今回のセミナーでは、大学の研究力を表す指標に関する最新の動向について、お招きした講師の方に話題提供いただき、加えて、学内有識者より、大学の研究力を把握するための指標に基づく国内の大学のポジショニングや大阪大学での研究力分析についてお話しただきました。その後、講演者と参加者の皆様と議論を行いました。

開会の挨拶

池田雅夫:大阪大学経営企画オフィス 副オフィス長  シニア・リサーチ・マネージャー／特任教授

本日のテーマは、「大学の研究力の測定と可視化」です。ちまたには大学ランキングというものが溢れていますが、その意味をちゃんとわかっている人は少なく、新聞紙上などでは結果だけが独り歩きをしているわけです。ランキングにおいては、研究力の評価が重要ですが、それは知れば知るほど奥深いと言いますか、難しい面があることに気がつきます。本日の3名の講師の方々は、そこをしっかりと分析して、ランキングの本質をよくご存じの方々です。本日は、皆さんの疑問にいろいろ答えていただけるのではないかと思います。本日の学術政策セミナーを通じて、大学ランキングや大学の研究力の評価に対する知見を深めていただければと思います。

講演1「研究力を測る指標（分野別・大学機能別）の抽出と、大学の研究力の可視化に関する基礎的研究」

小泉周氏

自然科学研究機構研究力強化推進本部 特任教授

プロフィール：1997年慶應義塾大学医学部 卒業、医師、医学博士。同大生理学教室で、電気生理学と網膜視覚生理学の基礎を学ぶ。2002年米ハーバード大学医学部・マサチューセッツ総合病院・ハワード・ヒューズ医学研究所のリチャード・マスランド教授に師事。2007年自然科学研究機構生理学研究所の広報展開推進室准教授。同研究所・機能協関部門准教授併任、総合研究大学院大学・生理学専攻准教授も兼任。2009年8月から文部科学省研究振興局学術調査官、2002-2006年日本生理学会の常任幹事などを務める。2013年より現職。

研究力とは何か

我々は、科学研究費の特別研究促進費のプロジェクトで、研究力を測る指標の抽出と、大学の研究力の可視化に関する基礎的研究を行っています。
研究力を測る背景の一つに、世界大学ランキングがあります。大学の研究力を考えると、そこには様々な側面があります。例えば、研究力を測るために、英語や日本語の論文、イノベーションの力、人材育成、社会貢献や産学連携の力などをどう見るかということを考えなければいけません。しかし、これらは例にすぎません。大学の研究力といっても様々な側面があり、それを正確に測る方法なんて本当にあるのでしょうか。逆に言えば、ある一面だけ、例えば、英語の論文というところだけを取り出して、これが大学の研究力ですよ、などと言って意味があるでしょうか。大学の研究力を測るためには、様々な側面を見ていく必要があると思います。そして、大学により研究分野が異なることにも注意する必要があります。例えば、大阪大学は総合大学ですが、東京工業大学や一橋大学のように、それぞれ特徴を持った大学もあります。東京藝術大学を論文で測ることができるのか、という疑問も出てきます。このように、多様な大学を全て同じ指標で比べるというのも乱暴だと思っています。

プロジェクト立ち上げの背景

このプロジェクトにはいくつかの背景があります。まず、1つ目は、2016年1月22日に閣議決定された第5期科学技術基本計画です。これに関しては、その前段階の12月18日に有識者ペーパーというものが出ています。これは、閣議決定ではありませんが、第5期科学技術基本計画に付随するかたちで、図1のような指標を定めています。この中の「科学技術イノベーションの基盤的な力の強化」というところが大学に関わります。例えば、任期なしポストの若手研究者割合、女性研究者採用割合、児童生徒の数学・理科の学習到達度、そして、大学の研究力に関して言うと、論文数・被引用回数トップ1％論文数及びシェア、大学に関する国際比較などが入っています。それから、「イノベーション創出に向けた人材、知、資金の好循環システムの構築」のところでも、大学・公的機関の企業からの研究費受入額、国際共同出願数、特許に引用される科学論文などが入っています。2017年1月からスタートして、このような指標を毎年見ていくということになりました。これを主要指標と呼んでいて、この主要指標にぶら下がる指標をさらにいくつも出しています。例えば、被引用回数トップ1％ではなく、トップ10％までも見るというような指標が挙げられています。また、この中に「大学の国際比較」と書かれているのですが、どのような指標でそれができるのか、ということが問われています。このようなことが本プロジェクトの1つ目の背景です。

　　

この1つ目の背景を受けて、2016年5月に文部科学省の科学技術・学術審議会 学術分科会において、学術研究における研究力強化に向けた学術研究の研究力・活動状況を把握する指標のあり方が審議されました。そこで、大学単位のみならず、学問分野、また、大学の特徴なども考慮にいれた研究力の把握について考える必要があるとなったことが2つ目の背景です。実は原案では、「学部別、または大学の特徴」と書いてあったのですが、一つの学部の中にいろいろな学問をやっている人がいるので、学部別で見るのは無理だということで、学問分野になりました。

そして、3つ目の背景としては、世界大学ランキングというものを、どのように捉えるのかということがあります（図2）。日本の大学は、世界大学ランキングに相当振り回されていると思います。振り回されている原因の一つとしては、2015年に内閣が出した、「今後10年以内に世界大学ランキング100位以内に10校入れる」という安倍首相の言葉にあります。それは、ある種、政府の目標になりました。そして、世界大学ランキングで、日本の大学の研究力の順位を見始めました。順位というものは様々な指標を組み合わせて作っているわけですが、順位になった瞬間にどのような指標をどのように組み合わせているのかが見えにくくなり、単なる順位として独り歩きするわけです。そのような順位にどのような意味があるのか明快ではありません。したがって、順位ありきの大学・研究機関の競争であってはならないと思います。さらに、指標の使い方は年ごとに変わります。そのような世界大学ランキングで、今年は順位が下がった、今年は上がったと比較して、本当にそれでよいのでしょうか。日本の大学は、そのあたりを真剣に考えなければならないと思います。

　　

　

また、大学はそれぞれの特徴に応じた、独自に掲げたミッションを持っていて、一律的な指標だけで評価できるものではありません。研究力といっても、様々な側面があるわけで、それをどのように組み合わせていくかが重要です。それから、世界大学ランキングのもう一つの問題は、順位を出すためのロジックが完全には公開されていないことです。さらに、国別補正というものがあります。日本の大学の1番とアメリカの大学の1番は同じ水準と見なし、2番以降の大学は正規分布していると見なして、補正をかけるという方法をとります。しかし、正規分布していると見なすというのは、おかしいと私は考えます。強引に正規分布と見なしてスコア化していくという方法が、果たして妥当なのでしょうか。

このような問題提起を昨年からずっと繰り返してきました。そのせいもあったのか、内閣府の主要指標の中から世界大学ランキングという言葉は消えました。これは画期的なことだと思います。では、どういったもので日本の大学の研究力を見ていけばよいのでしょうか。そもそも、根本に立ち返って、何を指標として日本の大学は自分たちの研究力を把握し、そして、国際的に比較していけばよいのか、自分たちで自ら考えなければならなくなり、それが、今、急ピッチで行われています。

それから、4つ目の背景ですが、ご存じのように、国立大学法人運営費交付金の重点支援の3つの枠組みが設定され、各大学の3類型化、すなわち、大学のカテゴリー化のようなことも進んでいます。こういった中で、大学のミッションとは何か、その大学の研究力をどう測るか、ということが求められる時代になっています。

研究力をどう分析するか

それでは、どのような研究分析指標を考えればよいのでしょうか。研究分析指標には、図3のように、インプット指標、環境指標、アウトプット指標があり、そして最終的に、アウトカム指標が考えられます。例えば、インプット指標としては研究費が、環境指標としては研究者数や、研究のプロセスに関わるものが挙げられます。そして、それにより論文が出て、その論文がどの程度引用されているのかが、アウトプット指標になります。アウトカム指標としては、研究により、社会的インパクトをどう生むか、特許がどのくらい取れるか、ベンチャー企業がどのくらい立ち上がったか、などが挙げられます。我々は、このインプット指標からアウトプット指標までを中心に考えようと思っています。
繰り返しになりますが、大学の機能別分化や規模など、大学の異なる個性や特色と、分野の特徴を加味して、どのような指標を使ってどのように研究力を可視化していくかを検討しています（図4）。必要に応じてワーキンググループを作ることにしていますが、今は、人文社会系の指標を検討するワーキンググループだけを作って、検討してもらっています。また、検討結果は、2017年6月までに科学技術・学術審議会にお示しすることになっております。

　　

　　

どのような指標で評価するか

指標には、総数を見るもの、平均などnormalizeしたもの、また、質を見るものなど、いろいろなものがあると思います。例えば、論文を数で見る場合は、ただ数えるだけでよいわけですが、論文の質を見る場合は、トップ1％論文、トップ10％論文のような指標で質を見なければいけません。著作物については、英語だけではなく、日本語も含めて見ることが人文社会系では重要なことだと思います。研究者数や研究費を、数で数える部分、質で見る部分、そして、平均などを取って、Size-dependentでないかたちで見るもの、こういったいろいろな組み合わせで指標を提案していこうと思っています。

例えば、研究力を図5のように1つの立方体だとします。この立方体は様々な側面を持っています。例えば、英語論文という研究力の側面にしても、各分野共通で見られる指標もあれば、分野ごとに特徴的な指標もあり得るだろうと思っています。さらに、今は存在しない指標だが、こういった指標が使われるのではないか、という提案もしていこうと思っています。

　　

このプロジェクトの目標は、世界大学ランキングの日本版を作ることなのか、とよく言われますが、それが目標ではありません。先ほども述べたように、ランキングで順位というかたちになった瞬間に、見落とされる部分が出てきますので、順位を示すのではなく、様々な指標を使って、正確に「研究力を可視化する」ことをしようと思っています。

どのようなものを指標と考えるか

どのようなものを指標とするのかですが、一定の基準で共通して取れるデータを用いるべきだろうと考えます。例えば、自己申告によるデータは一定の基準があるとは言えず、分析データにはなりません。そして、指標は明確で再現可能な計算式によって測れることも重要だと考えます。しかし、これが世の中の多くの世界大学ランキングにはありません。どういう計算式で測っているのかがわからないということです。誰が計算しても同じ数字が出てくるということが必要です。また、現在データベースがない場合にはその提案をすること、どの分野はどの指標で評価してはいけないかということを報告することも必要と考えています。それから、指標は国際的に比較可能であることが重要です。そして、繰り返しになりますが、one-size fit allではないということです。1つの指標で全てが語れるわけではないということです。東京工業大学と一橋大学が、同じ指標で同じように語れるわけではないということです。

最近、国際アドバイザー会議で、定性的なものと定量的なものの組み合わせが必要であると言われました（図6）。

　　

また、定量的なものを測るにしても、複数の指標で見なければいけないということ、新しい評価指標を作るにしても、あくまでも伝統的な指標を大切にしたうえに成り立つということ、そういったアドバイスをいただきながら、今、取り組んでいるところです。

「厚み」を見る指標

大学の分野ごとの研究力を見るのに、例えば、論文なら論文数という「量」で見るとか、トップ1％論文とかトップ10％論文という「質」で見るということが言われていましたが、それらに加えて「厚み」という考え方ができないかと考えています（図7）。
例えば、どのような考え方か、図8で説明します。A大学のある分野とB大学のある分野の論文群を見てみましょう。A大学（上）の論文群を見てみると、50回引用された論文が1本ありまして、それ以外に1回ずつ引用された論文が7本あり、あとは2回引用された論文が1本あります。ですので、論文数としては全部で9本あります。B大学（下）の論文群を見てみると、8回引用されたのが3本、9回引用されたのが1本、7回引用されたのが1本、6回引用されたのが1本、1回引用されたのが1本あります。論文数としては全部で7本あります。今までの量と質の考え方から言えば、量で見ると、A大学から論文が9本出ているのに対し、B大学からは7本なので、A大学の方が論文数は多いということになります。質で見ると、例えば、サイテーションの数にしても、A大学は全部足し合わせると59になるのに対し、B大学は47になり、A大学の方がサイテーションをたくさん取っているということになります。したがって、A大学の方が論文数もサイテーション数も多いということになります。例えば、トップ1％、トップ10％論文というもので見たときも、おそらくこの50回というのは、この分野ではトップ論文でしょう。これ以外には大ヒットの論文はありませんが、量と質だけを見る考え方で言うと、A大学の方が全ての項目において良いということになります。しかし、本当にそうなのでしょうか。B大学の方は、大ヒットした論文はありませんが、サイテーションがある程度得られている論文群が、かなりの数あります。すなわち、B大学は同じ分野の研究者の層も厚く、ある程度の質を保って研究しているということも言えるので、A大学よりもB大学の方が良いという考え方もあるわけです。このように、今までの量と質の考えだけでは正しく大学の研究力を評価していない、ということもできるのではないでしょうか。
そこで、1人の研究者の評価で用いるh-indexを分野に適用するという「h5-iindex」の考え方を導入してみました。そうすると、A大学だと、h5-iindexは、サイテーション2以上が2本ですので、2になります。B大学は、サイテーション6以上の論文が6本あるので、6になります。このh5-iindexで測ってみると、B大学の方が厚みがあるということがわかるわけです。こういった指標を組み合わせる、すなわち、既存の量と質だけではなく、厚みという考え方をしていくと、今まで見えてこなかったものも見えてくるのではないかと思います。

　　

　　

もう一つ、厚みを見る指標としては、図9のような「active researchers」という考え方を検討しています。

　　

例えば、過去5年間に、その大学の分野Aというところで、どのくらいの人が論文を出しているか数を数えます。研究者入れ替わりは当然あるでしょう。例えば、5年の間に、1つのポストに何人も出入りすることはありますが、その5年間に、どれだけたくさんの人が、その論文生産に関わったかということは、1つの厚みとして見ることができるのではないでしょうか。ただこれも、ある分野では、人数がとても少ないということもあるかもしれないので、分野をまたがった比較はできません。しかし、この分野では、この大学はたくさん人が入れ替わって、たくさん論文生産に関わっている、といった分野ごとの比較はできるのではないかと思っています。

ここで、国際共著論文率について考えてみたいと思います。国際共著論文率は、最近どこでも指標として入っています。内閣府が出しているもの、文科省が出そうとしているもの、THEの世界大学ランキングにも国際共著論文率が入っています。しかし、本当に国際共著論文率は、重要な指標なのでしょうか。
国際共著論文率は、国際共著論文数を総論文数で割ったものです。なぜ、国際共著論文率が高い方が良いと考えるかというと、国際共著論文の方が、サイテーションが高くなり、したがって良い論文である、という仮説があるからです。国際共著論文の方が、サイテーションなどのインパクトが高くなる傾向は確かにありますが、実際にはそうでない分野も多々あります。さらに、国際共著論文よりは、産学連携共著論文の方が、サイテーションが大きくなるというデータもあります。そもそも、国際共著論文率が高い方が、研究力が高いと言えるのでしょうか。例えば、ある国家が独自に研究遂行する力がなければ、その国の大学は、全て国際共著論文にせざるを得ません。そのように考えると、本当にこの仮説は正しいのか、ということになります。著者の名前貸しにより国際共著論文の水増しなどの可能性もあります。ですので、国際共著論文率が上がるということが、必ずしも良いことではないのではないかと考え始めています。

また、国際共著論文を見る場合にも、h-indexと同じ考え方ができるのではないか、ということを、図10で説明します。機関Aと機関Bを比べてみましょう。機関Aは5つの機関と国際共同研究をしています。機関Aはそれぞれ、ある機関と共著論文を5本出している機関が3つ、あとは10本、6本が1機関ずつあります。機関Bは、6つの機関と国際共同研究をしています。機関Bは、ある機関と50本の共著論文を出していますが、あとは、1本が3機関、3本、4本が1機関になります。そして、これも単純な数え方をしてみると、国際共著論文数が、機関Aは31本あるのに対し、機関Bは60本あります。国際連携機関数は、機関Aは5つあるのに対し、機関Bは6つあります。そうすると、全て機関Bの方が多くなります。例えば、国際共著論文率にしたって、おそらく機関Bの方が高くなるでしょう。では、本当に機関Bの方が良いのでしょうか。機関Aの方が、それぞれの機関と厚みを持って連携していると言えるのではないでしょうか。これも、h-indexの考え方を使って説明します。仮に、「collaborative network index（CNI）」という名前をつけていますが、h-indexで見てみると、機関Aは5本以上の論文を出した機関が5つあるので、5になります。機関Bは3本以上の論文を出した機関が3つあるので、3になります。機関Aの方が、そういった意味では、どれだけの機関と一緒にやったかという、厚みの部分は上になるわけです。こういった考え方を使った方が、その大学がどれだけの機関と国際共同研究を実質的にやっているか、ということが見てとれるのではないでしょうか。このように、国際共著論文率だけで見て、正しい研究力の評価が出来ているのか、私は少し疑問に思っています。
ですから、大学の分野ごとの研究力を見るためには「量」「質」「厚み」という3つの側面が必要ではないかと考えており、今後「厚み」について検討を深めたいと考えています（図11）。

　　

　　

新しい指標の可能性の提案

また、分野の特性を見る指標というのも重要です。例えば、人文社会系は何を指標とするのかというところを、ワーキンググループで検討しております。
また、新しい指標も提案できればと思っています。例えば、国際ジャーナルでEditorを務める研究者の数や、オンラインでの論文のView Countの数などです。これが、果たしてどこまで正確な数なのか、既存のデータベースで出せるか、という課題はありますが、このような考え方により、新しい指標の提案ができればと思っています。

質疑応答

参加者A：先生の言われているこのプロジェクトは、なぜ、今、急いでやらなければいけないのかについて、教えていただければと思います。

小泉：実は、政府のモチベーションはよくわかりません。私のモチベーションは、放っておくと、世界大学ランキングでの順位が、そのまま日本の大学の研究力を把握する指標として使われ始めてしまうのではないか、それはやめましょうというところです。そうすると、日本の大学の研究力をどうやって評価すればよいか、それを明らかにしておく必要がある、ということが私のモチベーションです。

参加者B:厚みという言葉を聞いて、多様性という言葉が思い浮かびました。言い換えると、手広く、一生懸命やっているというようなことを、厚みという言葉で整理されようとしていると受け止めたのですが、そういう理解でよろしかったでしょうか。

小泉：多様性も重要だと思っているので、そこはまた考えたいと思っています。厚みという言葉が良いのかどうかは、実は、まだはっきりとわかっていません。しかも、それを英語に訳すと、thicknessとかrichnessなど意味が異なってくるので、何か良い言葉があればと思っています。そういった多様性の概念も含めて、できるだけ広くというところは、重要な点であると思っています。引き続き検討をしたいと思います。

参加者C:私は、日本の大学、特に国立大学の良さとは、多様性があることだと思っています。先生のお話では、研究分野に分けて、その中での研究力をそれぞれで比較するということでした。それ自体は非常に重要だと思いますが、それに偏ってしまうと、逆に、その多様性の部分は評価されていないのではないかと感じました。教育的観点から言うと、やはり、若いうちに幅広い分野を見られる総合大学で、広く学生も学べて、研究者も共同研究がしやすい環境というのが重要だと思っています。何を良しとするかだと思いますが、そのあたりのお考えをお聞きかせ願います。

小泉：ご指摘のような側面もあると思います。分野別や大学の機能別で見たときに、私たちのチームで何かの回答を出すと、この大学はこの機能が強いので、この機能だけやれば良い、などといったことになってしまう可能性もありますね。報告書には、大学の強い分野だけを残して、弱い分野は切り捨てるという発想になってしまうのは危険であるというような趣旨は盛り込みたいと思います。

図表は小泉氏講演スライドより抜粋

講演2「科学研究の俯瞰・ベンチマーク〜日本全体と大阪大学の『研究力』の現状・動向〜」

阪彩香氏

大阪大学経営企画オフィス
リサーチ・マネージャー／特任准教授

気づきを得るための、議論を誘発するためのエビデンスとしての科学研究の俯瞰・ベンチマーク

本日は、「科学研究の俯瞰・ベンチマーク～日本全体と大阪大学の『研究力』の現状・動向～」というお題で、前職で得た経験や知見をシェアさせていただきます。また、今後、大阪大学で行う活動についてもお話ししたいと思います。

私は、文部科学省の科学技術・学術政策研究所というところにおりました。そこで、日本の研究活動の状況をシステムとして把握することを目的とした活動を約12年間行ってきました。そこでは、研究活動の状況を把握するための指標の開発も行いました。指標の開発自体は新しいことではありません。では、何が新しいかというと、指標を作ったり、その結果を学術論文に書くだけでなく、出てくる結果をよく考え、そこから政策にどう反映させるのかというマネジメントに繋がるところに活用しよう、エビデンスに基づいてもっと議論をしていこう、というようになってきたことが、ここ10年ぐらいの新しいところだと思っています。

このエビデンスですが、図1のように、定量的なもの、定性的なものなどいろいろあります。この中で、よく使われるのが論文分析です。これは扱いやすさという面で使われているのだと思っています。一方、定性的なものもエビデンスになります。聞きとり調査やアンケート調査など、そのようなものも数を重ねていけば、議論の基になるエビデンスになり得ます。どのエビデンスが良いとか悪いというものはなく、その次に何をやりたいか、どんな議論をしたいかということに応じて選んでいけばよい、というように理解しております。
日本の研究活動状況をシステムとして把握するためのアプローチとして、論文について少し説明します（図2）。論文は、研究者の活動の成果の1つと考えられます。もちろん、論文以外にも、講演、授業等も研究者の活動の成果ですが、論文は数えられるという点で、扱いやすいデータになります。それから、英語論文については、商用のデータベースもあります。日本の状況を知りたければ、他国の状況も知らなければいけません。そうすると、他国の情報も入っているデータセットでないと使えないということになります。その意味で、論文データベースは分析しやすいデータセットです。それから、論文は定量的に扱えるので、わかりやすい（気がするらしい）というところですが、実は、すごく難しいところです。定量的に扱えるといっても、例えば、ある先生が5人の共著で論文を書いた場合、これを1件と数えるのか、1/5件と数えた方がよいのか、また、日本と米国の共著論文であれば、日本の論文を1件として数えた方がよいのか、1/2件と数えた方がよいのかなど、一見単純なように見えても実は非常に難しい面があります。
この研究活動をモニターしていくにあたって、研究主体の粒度としては、世界全体、国、地域、県、大学や企業などのセクター別、それから、大阪大学がどうか、京都大学がどうかといった機関別、それから、部局別、さらに、研究者個人など様々な粒度があります。これも一見単純ですが、実は、商用データベースを使ってそれぞれの粒度での分析を行うためには、データのクリーニングをしなければいけません。例えば、機関名ですが、Osaka Universityと書いてあったり、逆に書いてあったりなどいろいろあって、住所情報からきちんとどこの大学なのかを判定してから計算しないと正しくカウントされません。このように、研究主体ごとにカウントするだけでも、かなり難しい作業になります。
それから、この研究内容の粒度というものもあります。研究活動は分野によって異なるため、分野別に分析するほうがよいというのは誰しも同意するところだと思います。しかし、どのようにして分野に分けるのかは非常に難しいことです。基本的には、あるジャーナルはこの分野ですね、というようにして分野を決めて、分析していくという手法をとっています。
また、インプット情報も重要な分析の観点になります。例えば、科研費のデータベースには、科研費でこんな論文を書きましたという情報があります。それを持ってきて繋げるという作業も行ったことがあります。それから、論文の最後にはどのような研究費や研究施設で行われた研究であるという情報が含まれている謝辞があります。その情報を持ってきて、その情報と論文の質や、その両方を見るという作業をしてきました。

　　

　　

論文のカウント方法ですが、これは、図3のように、整数カウント、分数カウントがあります。整数カウントは、例えば、日本と米国の共著論文が1件あったときに、日本1件、米国1件というふうに数える方法です。そうすると、何が見えるかというと、論文数では、世界の論文の生産への関与が見られます。一方で、分数カウントは、日本と米国の共著のときに、1/2件と数える方法です。そうすると、世界の論文の生産への貢献度が見られます。また、関与度、貢献度において、日本はどちらの量が多いのかを、この差分を見て分析するというようなことが考えられます。
図4は本発表で扱う分野分類です。分野分類はこれ以外にも科研費の細目もありますし、大学の中で使われる分野分類など様々なものがあるかと思います。

　　

　　

国単位での研究論文分析から見える近年の研究活動の状況

次に、図5の国のレベルのデータをご覧いただきたいと思います。これは2001年から2003年と2011年から2013年の情報です。Top10％、Top 1％というのは、被引用回数が高い順にソートした際に上位10％、1％に入る論文のことです。これを見ていただくと、日本の場合は10年前に比べると、全論文において、ランクを下げていることがわかります。論文数自体も減っているということが見えてきます。それから、Top10％論文、Top1％論文のように、注目度が高い論文においても、その相対的な位置を下げているということも見えてきます。
これは分野別に見ても、同様の状況にあります。図6の表を見ると、全体と、化学、材料科学、物理学、計算機科学・数学、工学、環境・地球科学、臨床医学、基礎生命科学のいずれにおいても、この矢印が全て滝のように落ちてしまっています。相対的に国のレベルで見ていくと、論文数及び注目度の高い論文数という意味では、世界の中で日本は、相対的に位置を落としているということが見えてきます。

　　

　　

また、国際共著論文がよいかどうかはここでは論じられませんが、世界的には、どの分野においても、国際共著という形態をとる傾向にあるということは言えます（図7）。

　　

このグラフからもわかるように、国際共著率は分野によってかなり差があるということも、ここでは1つの重要な情報になるかと思います。このグラフを見ると、臨床医学の場合は低いが、それに対して、物理学や環境・地球科学といった分野では非常に高い値になっています。分野によってこれだけ状況が違うので、それを前提にして議論をしないと、誤解を招く結論になりかねないと言えます。

また、図8は、英国、ドイツ、日本の論文数の変化を見ています。そうすると、英国もドイツも、ぐんぐん上がっていますが、日本は、2000年になって横ばいになっています。この中を分けてみると、水色の部分が国内論文、オレンジ色の部分が二国間の国際共著論文、緑色の部分が、多国間の国際共著論文になります。ここから読みとれることは、日本は国内論文だと、英国、ドイツよりも多く生産することができており、国内にそれだけの力を持っているということです。一方で、国際共著論文については、伸び悩んでいるように見えます。つまり、国際共著論文で得られるような知識や経験が、ドイツや英国に比べ、相対的には少ないと読みとれます。このように、こういうデータ1つとっても、どちらの立場でも議論ができるということになります。したがって、ランキング同様、このデータがどういうものを目指して、何をモニタリングしているのかを理解したうえで使う必要があると思います。
日本の論文数が伸び悩んでいるというところを、組織区分別に分けたものが、図9になります。2000年代には論文数が頭打ちになる日本ですが、やはり、青い部分（大学部門）が影響しています。日本の中で、論文の生産の約7割を占めているのが、この大学部門になりますので、ここが頭打ちになれば、全体が頭打ちになるという構造です。

　　

　　

大学が自分たちを知るための研究論文に着目した大学ベンチマーキング

大学が、日本の中での知識生産の中心ですから、日本全体を向上させるにはどうしたらよいかということで、文部科学省の科学技術・学術政策研究所が2011年頃から公表し始めたのが、大学ベンチマーキングです（図10）。

　　

各大学に研究力の現状を知っていただくために、自分たちの大学がどのように見えるのか知ることができる、また、他の大学と横並びで同じデータの中で比較できる、そういう環境を実現するために作ったものになります。
そして、研究状況シートは、2004年から2013年の10年間で1,000件以上の論文を書いた136大学をあいうえお順で掲載しています。あいうえお順は私のポリシーで、例えば、論文数が高い方から並べるという方法にすると、やはりランキング、何か順位をつけるというように見えます。そうではなく、皆さんに横並びで比較できるものを渡したいという思いで、あいうえお順にしています。

大阪大学の研究状況シートを読む

図11が大阪大学の研究ポートフォリオです。量的には論文数、質的にはTop10％という注目度の高い論文の国内シェアになります。また、青、緑、赤の順で、時系列になっていますので、この大きさを比較することで、大阪大学がこの10年間どのような変化を見せてきたかということが見られます。これを見ると、国内シェアは環境・地球科学のところが若干少ないかなというところが見えますが、他は全方位的に持っているということがわかります。また、時系列の中で、あまりかたちは変わっていないので、国内での大阪大学の存在は、この10年あまり変わっていないということが見えてきます。一方で、質的なところで見てみますと、量のときとの違いとして、時系列で見ると化学の国内シェアが上がり、存在感が増しているということがわかります。
また、図12が大阪大学の分野別の世界シェアになります。時系列で見るとシェアが落ちてきていることがわかりますが、これは大阪大学に限った話ではなく、日本全体が世界の中ではシェアが落ちています。中国など他の国が上がってきていますので、ある程度は仕方ないところだと思います。ただし、この研究ポートフォリオのかたちを見ていただくと、大阪大学が世界の中で、どのように見られているかというとことが示されており、化学、材料科学、物理学に強みのある大学というように、定量的には見ることができます。

　　

　　

また、図13は大阪大学の論文数、Top10％論文数の時系列変化になります。先ほど、シェアをご紹介しましたが、シェアでの表示は相対的に世界の中でどれぐらいかと見るには適していますが、他の国が伸びてくるとシェアは下がってしまいます。大学としては、論文数自体が確実に伸びているかということも重要なデータです。大阪大学の場合は、論文数、Top10％論文数共に、数自体は着実に上がっているということがわかります。
図14は産学連携論文率、国際共著率を示しています。産学連携論文率は全体で8.5％から9.1％へと、この10年でそのシェアを上げています。日本の平均に比べると高い値になっています。また、国際共著論文は27.3%と日本の中ではだいたい平均ぐらいです。また、この10年間の国際共著論文というのは増えてきています。

　　

　　

さて、大阪大学の研究状況シートを他の大学の研究状況シートと比較することから見えることがあります。ここでは、RU11の大学の研究ポートフォリオをご紹介します。（図15,16）まず、全方位的にやっている大学というのはあまりなくて、また、全ての大学がミニ東大だというわけではないということがわかります。各大学にそれぞれの強みがあり、その強みを今後どうしていきたいのかという議論が、それぞれの大学で行われるべきだと言えます。ですので、例えば、国の施策として東大に合うようなものを考えても、他の大学にとって有効ではない場合もあると理解したうえで、施策を打っていく必要があるかと思います。

　　

　　

それから、海外の大学の研究ポートフォリオを図17に示します。ハーバード大学等を見ても、大学がそれぞれに特徴のある、すなわち特定の分野に特化したかたち（強みを保有したかたち）になっています。

　　

このように各大学にはそれぞれ特徴があるわけですから、一軸で比較することにどのような意味があるのかと考えます。大学のランキングから何を学ぶのかは、冷静に考えていく必要があるのではないかと思っています。

日本の大学システムの構造の変化を読む

図18は136大学を各分野において、量の面では世界シェアを用いてV1～V5に分類し、質の面ではQ値を用いてQ1～Q5に分類したうえで、第1層、第2層、第3層というように分けたものです。第1層は、日本の研究活動を引っ張るような大学、第2層はフォローする大学、第3層は第2層の厚みを増加させるようなポテンシャルを持つ大学というように分けて数を数えています。
そうしますと、図19のとおり、化学の分野において、大阪大学はこの第1層にくることがわかります。また、第2層、第3層にも様々な大学があり、かなり充実している分野であるということがわかります。

　　

　　

これを図20のように分野ごとに見ていきますと、大阪大学は、化学、物理学、基礎生命科学は第1層、材料科学と臨床医学においては第2層に位置しています。計算機科学・数学と工学に関しては第3層に位置しておりますが、日本の中で第1層に該当する大学自体がないので、実質、第2層という位置づけになります。
このようなシステムで、各分野、第1層、第2層、第3層がどのように時系列で変化しているのかを見てみたのが図21になります。赤い四角で囲んだところを見ると、この第3層のところに入っている大学数が10年前に比べると、かなり減っているということが見えます。ですので、日本の全体が伸び悩んでいるということを、一番初めにご紹介しましたが、その中でも、このような第3層に入るような、やはり、この第1層、第2層に今後なっていくであろう大学が減ってしまっているということが見えてきました。

　　

　　

論文とインプットとの関係を探る

論文だけを見るのではなく、論文を生み出す研究活動のインプットの一つである研究費との関係も重要であることは承知しており、関係を捉える調査分析もしてきました。図22は日本のWoS論文（Web of Science論文データベースに収録されている論文）の中で、科研費によって作られた論文のシェアを表したものになります。黄色い部分がWoS論文の中で科研費によって作られた論文で、水色の部分は科研費以外のお金、運営費交付金等だと思われますが、それによって書かれた論文になります。時系列変化をみると、科研費で作られた論文というのは増えていますが、それ以外の論文は減っていることが見えてきます。

　　

本日ご紹介したデータを総合的に見ると、日本の論文数は伸び悩んでいますが、1つの考えとしては、伸び悩んでいるところは、大学の層からいくと第3層のところであり、お金の面では、科研費以外の研究費による研究活動によって生み出される論文というのが減ってきているのではないかということが見えてきました。

これからの活動において

最後にこれからの活動について、お話しします。これまで私は、研究強化という観点で日本の大学全体をシステムとして見るような調査分析をしてきましたが、これからは大学の中に入って、どういうデータが使えて、どういう気づきをもたらすようなエビデンスができるのかということを、検討していきたいと思っています。
研究活動を捉える際のポイントは3点あると思います。1つ目は、複数の軸から研究機能を見る必要があると考えています。2つ目は、比較対象相手をどこに置くかというところが重要だと考えています。あまりにも違う相手を置いてしまうと、何が違って、こういう違う結果が出ているのかわからないので、やはり、ここは重要なポイントになると思います。3つ目は、指標の新規性が必要なのではなく、やはり、皆さんにわかりやすくて、ある程度、納得できるものが重要になってくると思います。こういうところが、いったい何なのか、大学の関係者、大学を構成している方々と実際に議論をしながら、どういう指標が議論に使いやすいのか、今後の大阪大学の将来を考えていくときに、重要なデータになるのか検討していきたいと考えています。

図表は阪氏講演スライドより抜粋

講演3「大阪大学の研究力と大学ランキング」

菊田隆氏

大阪大学経営企画オフィス
シニア・リサーチ・マネージャー／学術政策研究員

研究力測定の指標

小泉先生からランキングの話を詳しくしていただきましたので、私は重複している部分を省いて、ランキングの指標というところからお話しさせていただきます。

よく使われる4つの大学ランキングで、どのような指標を用いているのかをまとめたものが図1になります。
上海（ARWU）、The Times Higher Education（THE）、QS、同じくQSですが、アジア地域のみに限定したもの（QS Asia）、それぞれのランキングになります。評価指標は、教育、研究、国際、その他という区分に大別されています。

　　

また、図の背景色で示していますが、青色がインプット系、オレンジ色がアウトプット系、緑色がアウトカム・インパクト系、それぞれの指標になります。これは、私が分類しました。ご覧いただければわかるように、研究では、オレンジ色のアウトプット系と緑色のアウトカム・インパクト系のように、成果系の指標を多く使っており、インプット系の指標をあまり使っていません。例えば、研究でインプット系と言いますと、研究費をどれくらい使っているか、といった数字になるかと思います。ところが、研究費をどのぐらい使っているかを、それぞれの大学から調査することは大変でもあり、どのランキングでもインプット系のデータは使っていないのではないかと考えます。

大学ランキングで用いる研究指標

大学ランキングで用いる研究指標は、図2のように、大きくは、論文、被引用、受賞、研究収入、評判の5つに分けることができます。

　　

また、一言で論文と言っても、様々な種類の論文の量や質を表す指標があります。特定の論文誌に掲載された論文数がいくつあるか、あるいは、特定のデータベースに収録された論文数がいくつあるかということや、教員1人当たりの論文数はどうかということです。
被引用に関しては、ここでも単純にその数を使っているのではなく、教員1人当たりの被引用数、あるいは、論文1本当たりの被引用数を使っています。それから、高被引用の研究者の数なども使っています。また、受賞については、特定の賞の受賞数を使っています。そして、研究収入については、受託研究や産学共同研究で得た研究費の収入などを使っています。
最後に、評判があります。これは、研究者を対象とした評判の調査になります。上から4つまでは数が数えられる定量的な指標ですが、一番下の評判というのは、アンケートをとって数値化はしていますが、内容的には、定性的な側面を持つ指標になります。先ほど、ピアレビューとこのような定量データ、あるいは、それらの組み合わせが重要だというお話がありましたが、ランキングの中でも、定量的なデータと、半分定量、半分定性のようなデータを使っています。

大学ランキング利用の留意点

このような大学ランキングのデータを利用する際の注意点を図3にまとめました。

　　

ランキングを作るプロセスで、各大学はランキング会社に元データを出します。それが途中で正規化（normalize）されます。例えば、国別のバランスを見て補正をしたり、あるいは、研究分野ですと、論文がたくさん出る分野もあれば、そうではない分野もあります。また、その論文を、たくさん引用する分野もあれば、そうではない分野もあります。そこで、研究分野別に比較できるように補正をしています。
大学によって専門分野や学部の構成は様々ですので、横通しで比較するためにはこのような正規化が必要になります。しかし、どういう方法で正規化されているのかが一部を除いて公表されていません。ですから、我々はそれを見て、その数字が合っているのか、間違っているのか、あるいは、自分たちの実態に合っているのか、違っているのか、ということを検証することができません。
さらに、そのように加工したデータを、今度はトップを100として、各大学のデータを指数化しているのですが、その指数化の方法についても公表されていませんので、どのような方法がとられているのかがわからないという問題があります。
そして、もう一つ問題なのは、データ収集の方法です。ランキングに使うためのデータを収集する方法がたびたび変更されます。最近の例では、2年前にThe Times Higher Educationで論文のデータベースを変更したということがあります。それまでは、Clarivate Analytics（旧トムソン・ロイター）のWeb of Scienceのデータを使っていましたが、2年前からエルゼビアのScopusのデータを使うことに変更しました。そのために、すごく数字が変わっています。ランキングを時系列で見てみると、急に変動しているようなところが時々見られますが、そういうときは、たいてい何かデータ収集の方法を変えたときです。これが、一番大きな影響を与えます。
それから、調査の方法で、先ほど評判調査と言いましたが、この調査の対象者、対象地域など実施方法を変えると、結果が変わってきます。そういうことがよくおきますので、データの連続性がないという問題に繋がります。
このような問題により留意すべきことが2点導き出されます。1つ目は、データに継続性がないので経年的な分析ができないということです。2つ目は、長期的な戦略検討の材料としては使いにくいということです。「何年後にランキングの何位になる」というような目標を立てたとしても、ランキングの出し方がどんどん変わっていくので、「何年後にトップ10に入る」と言っていた話が、それを考えたときと、何年か経ったときとでは、ランキングの状況が大きく異なる恐れがあります。ですので、戦略の検討の材料としては、使いにくいということがあります。
ただ、悪いことばかりではなく、一つ一つの指標について見てみると、ベンチマーク、すなわち、強み、または、弱みの分析には参考になる点もあります。例えば、大阪大学はここが強い、ここはやはり弱い、という分析には、参考になる部分があります。

ビブリオメトリックスの限界

ランキングの分析も含めて、論文や引用の分析をするときに、あるいは、分析した結果を見るときに、少し注意していただきたい点を図4に示します。

　　

研究の成果には、様々な種類があります。その中で、論文になっているものもありますが、そうでないものもあります。また論文にもいくつか種類があります。日本語の論文であったり、英語以外の外国語の論文であったり、英語の論文の中でもデータベースに載っているもの（DB収録論文）と載っていないものがあったり、様々です。
今、論文分析と言っているものは、Clarivate Analytics（旧トムソン・ロイター）やエルゼビアなどのデータに収録された論文を使っていますから、研究の成果のごく一部の部分を対象にしています。全体を考えれば、研究の成果の一部を見ているに過ぎないということを、覚えておく必要があります。もちろん、研究によっては、この一部の論文だけを見ていれば十分であるという分野もありますが、そうではない分野もあります。その辺りを頭の隅に入れておいていただきたいと思います。
また、研究の成果について、図4の一番下の層に書いてあるものや、ここに出てこない論文をどのようにして研究成果の評価に使えるかたちにするか、ということも重要な課題になります。

図表は菊田氏講演スライドより抜粋

総合討論

参加者D:インプットについてお伺いします。日本の論文数が下がっていると言われる度に、私たちはいつも責められているような気持ちがしているわけですが、日本の大学のマンパワーがどれだけ下がっているか、予算がどれだけ下がっているか、ということが言われていないのではないでしょうか。それと一緒に評価しないと、問題の本質はわからないのではないでしょうか。2010年ぐらいまでは、予算が減っている中でも、研究者一人当たりの論文数は増えていると思います。また、マンパワーについては、中国に比べると、日本は常勤が少ないと思います。これは海外の研究者によく指摘されることですが、日本では常勤が減っていて、非常勤や特任が増えており、その間、中国では研究者が2倍になっていると言われています。マンパワーと予算を加味した評価ということは考えられているのでしょうか。

小泉：インプットがどのくらいか、例えば、科研費がどのくらい入っているのかということ、そして、先ほど阪先生がお話しされたような詳細な検討をすることも重要だと思っています。さらに、この分野には予算がどのくらい入っているのか、という比較をすることも重要だと感じています。ご指摘のようなインプットを加味することはやらなければいけないと思っています。一方で、国にお金を増やせと言っても増えないと思うので、その配分が正しいのかどうかを見ていく必要があります。論文の数というのは、ある程度以上お金をもらっても増えないだろうと考えます。例えば、私が1年間に頑張って論文を書いても、おそらく5本ぐらいの量です。それを、例えば、300万円もらって5本書けているところに、1億円もらっても結局5本しか書けないと思います。ある程度のところで頭打ちになります。このように、無駄なところに投資してしまってはいないか見直す必要があります。そういう意味では、おっしゃるとおり、インプットとアウトプットの関係をしっかりと見ていくことによって、効率の良いお金の配り方というのができるのではないかと思っています。

阪：インプットとの関係を見ていくというのは、非常に重要ですが、まず、その情報とアウトプットを繋げるだけでも難しいというのが実際のところです。繋げたうえで、小泉先生がおっしゃったように、お金と論文数が比例していく場合と、比例しない場合があると思っています。本日は、ご紹介できていませんが、科研費と論文数の関係を分析しますと、例えば、基盤Sと基盤C、どちらがお金当たりの論文数が出るかというと、基盤Cになります。しかし、そういうデータが流れると、基盤Cをもっともっと増やせばよい、という話をする人が出てきます。しかしながら、やはり、基盤Sのようなある程度の金額が必要な研究もあると思います。ですので、そういうデータをきちんとした議論に乗せられるように、どこが限界点なのか、どこに気をつけなければいけないのかといった情報も付与したかたちで、皆さんにいろいろお見せしていくことが必要だと考えています。

菊田：私たちURAが研究力の分析をするときには、研究費や科研費などを、どれくらい獲っているかなど、そのようなデータも非常に重要だと思って分析しております。アウトプットの評価については、実験を始めて、研究を始めて、論文が出るまでに相当な年数がかかっています。それから、引用という点でいうと、その論文が出てから、さらに2、3年の時間がかかって数字が出てきます。つまり、アウトプットについては、かなり過去の話を分析していることになります。一方で、研究費や科研費をどれくらい獲れたかというのは、このテーマが良いと評価されてお金がつくわけで、研究の企画力や先見性について評価を受けている、すなわち現在に近い評価を受けているということになります。この両者は時間のずれがありますので、インプットとアウトプットの因果関係を繋げることは難しいのですが、それを理解したうえで、学内の分析をするときは、科研費なり、インプットの情報を重要な指標として扱っております。

参加者E:研究力を測る、可視化する、あるいは定量化する、その先に何があるのか、何のために研究力を可視化するのかが重要であると思います。お金の配分に繋がることもあり得ると思いますが、それ以外に、学問の先進的な改革をもたらすとか、イノベーションをもたらすなど、何か見えてくるものがあるのではないかと考えています。この点についてご意見をお聞かせいただければと思います。

小泉：大学のマネジメントとか、国のマネジメントが見えてくるのだと思います。例えば、産業競争力会議などでは、研究大学は5つあればよくて、残りの大学は教育大学でよいという議論も出ていますよね。では、それに対して、大学として反駁するための材料として、うちの大学はこれだけの研究力がちゃんとある、ということを示していくためのものになるのではないでしょうか。また、大学のマネジメントや大学の戦略にも関わってきます。大学としてどの分野の研究にどう関わっていくのかという戦略を考える際に、サイエンスマップのような解析をしていくことによって、この分野が、エマージングな分野なんだということが見えてくると思います。この分野はこういうところが弱いので、そのような弱い部分をこの分野と一緒にしたらよいのではないか、というように、いろいろその先が見えてきます。分野のその先が見えてくるところに活用できれば、研究の次の発展というところに繋がってきます。そういう使い方もあると思います。

阪：今、お話に出た、サイエンスマップというのは、世界の中で、どんな研究領域が、今、注目されているかというものを、定量的に抽出する方法になります。やり方としては、論文がいつも一緒に引用されていれば、それらの論文は、同じ内容を扱う論文群であろうというところを使って、トップ1％という非常に被引用回数が高い論文を対象に、グループを作っていきます。そうすると、最新のものですと、だいたい800ぐらいの研究の論文の固まりが出てくるので、それを「研究領域」と名付けています。また、その800個の研究領域同士が、一緒に引用される機会があれば、近くに来るように、そうでなければ遠くに来るようにマッピングしたものがサイエンスマップになります。どんなところが、今、注目されているかというものを鳥瞰的に描いています。そのマップ自体を作って皆さんに見ていただくことで、次に何が起きるかというと、議論をしてほしいと考えています。ですので、いろいろなデータを出しますが、そのデータ自体で、何かが決まるということはないはずで、あくまで、そこから何かを考えるための、議論を誘発させるためのデータであり、ベースになるものだと思っています。サイエンスマップを見ていただいて、次は、この辺りはまだ研究領域がないが、では、研究領域がないということは、どういうことなのかと考えていただきたいと思います。また、今、注目されている研究領域の山頂に、どんな研究者がいるのか、うちの大学には、そういう先生がいるのか、いないのかとか、そういう現状を把握するツールとしては使えると思います。あくまで、そのうえで、いろいろな議論をして、それこそ、学内の研究者の方の意見を聞いて、実際、このマップから今、どれぐらい動いていますかとか、今後どうなると思いますか、といった質問をしたときに、様々な意見が出ると思います。これからこういう研究テーマが出てくるのではという意見が30個ぐらい出たとしても、その30個がどういう関係かよくわからないといったときに、また、マップの上に、30個ぐらいの領域を乗せてみます。そうすると、この先生とこの先生は、実は同じような話をしていたのかなとか、専門が違っていても、そういうデータを整理するためにも使うこともできます。次、何が起きるかなどの議論の誘発をさせるものであるべきだと、私自身は思っています。

参加者E：そうすると、その議論の場として、国家レベル、大学レベル、分野レベルなど多様なレベルがあるということでしょうか。

阪：そうですね。まず国レベルでいくと、良いか悪いかは別として、この図にある、ステージ2のところになりますが、自分たちの案を補強するような（言い分に沿うような）データがどこかというのを探し始めたこと自体が、この10年ぐらいという感じです。

　　

その先にはステージ3のように、いろいろ話し合って、向こうがどんなことをしたい、例えば、こういう政策を打ちたいが、そういう政策を打つには、どんなことを問題として考えたほうがよいかとか、将来的にどういうことが起こり得るかというようなところを質問されて、私たちとしては、こういうデータが出せますよというように、話し合いながらやるといったステージがあるかと思っています。多くの場合がステージ2であるため、一方向的に、いろいろデータが使われる（使われてしまう）ということが多いのですが、ステージ3のように双方向的な場合も、ちらほら出てきているというのが、私の実感です。
それから、大学レベルでは、ここにいらっしゃる、IRの方、URAの方、各部局でいろいろ研究活動等の促進活動をなさっている事務職員の方、そのような、こういうことに関心を持つ方が集うということ自体で、もう、議論が始まっているのだと思っています。また、学会レベルでも、意識の高い、そういうことをやりたいという学会の方は、もういくつか始まっているのだと実感しています。

菊田：我々が、大学の研究力の分析をする目的は、まず、大阪大学が今、現状でどんなポジションにあるかを把握するということです。他の大学と比べたときに、どういうところが劣っていて、どんなところが強いか、あるいは世界と比べてどうか、というようなことを分析して、現状を把握するということです。大学全体として、研究力を上げるために、いろいろな施策が行われていますが、果たして、それが、効果があるのか、成果を上げているかのチェックのために分析するということも重要だと思います。そして、そういったデータは、大学の中の意思決定をする方々に情報として提供します。提言というよりは、様々なオプションのリスト、例えば、こういうことをしたいのならここを強化すればいいですよ、こういうことをするのであればここが重要ですよ、というオプションのリストを提示することができると考えています。

参加者F:データを分析したり、解析することには、必ず良いところもあれば、欠点もあると思います。阪さんも、分析結果が意図しない方向に利用されているような結果を招くときもあると言われていました。ですので、データを振り回されないために、そういうデータを分析したものをお出しになるときは、良いところや欠点なども書いておいていただけるとよいかなと思いました。

参加者G：Web of Scienceなどに反映されていない、特に人文の分野を、どのように測るのか教えていただけますでしょうか。

小泉：人文社会系については、今、ワーキンググループを作って検討しています。その中で出ている議論は、日本語文献をどのように数えるか、量と質をどう見るか、というものです。また、英語の論文ではない著作物をどのように評価すればよいのかということを議論しています。例えば、歴史学の先生が本を書くと数えられるので、これは量になります。質についてはどのように見るかというと、論文でしたら、トップ1％、トップ10％論文でよいのですが、著作に関しては、サイテーションでは見ることができないので、パブリッシャーで見ようという考え方があります。例えば、University of Oxford Pressが出す本は、やはり素晴らしい本だろうと、パブリッシャーによって質を担保するという考え方はあるのではないかと考えています。トップパブリッシャーと呼ぼうとしているのですが、どういうトップパブリッシャーがあるかということについて、今、検討しています。

参加者G：ピアレビューによる評価ということですが、それは、どのパブリッシャーの影響力が高いかを考えているということでしょうか。

小泉：評価ができない、量では出てこないところを、どうピアレビューするかというのは、また次の段階だと思っています。今は、その前の段階として、量的に評価するにあたり、そのときに、どのように考えればよいかを検討している段階です。

参加者G：社会的インパクトという言葉がありますよね。最近よく、学際領域研究というのが注目されていますが、そういうところは、どのように評価していくのか教えていただけますでしょうか1。

小泉：学際領域研究の方が、サイテーションが伸びるという考えもありますが、これをどのように評価するかは難しい問題で、即答は出来ません。

参加者G：特許など社会的インパクトと書かれていますが、特許というのも1つの指標なのかもしれませんが、他にも何かお考えになっているところがあるのかなと思いまして、質問させていただきました。

小泉：社会的インパクトは測りにくいので、我々の研究としては、対象からできるだけ外そうと考えています。ただ、少なくとも、どのくらい論文が閲覧されたか（View Count）やどのくらい論文がダウンロードされたかとか、その辺りはアウトプットにとても近いので、そこは取ろうと思っています。それから、メディアにどのくらい登場したかは取れるので、そこも取っていこうと思っています。また、11月からSciValで過去3年ぐらいの論文のメディアメンション数のようなものを見ることができるようになっています。

参加者H：指標をどう作るか、どう設定するかということは、その後の研究活動に対して影響を与えることになるのかと思います。今回提示される指標は現行のものよりも優れたものということになってくるかと思いますが、分野にできるだけ依存せずに、ある意味ニュートラルな立場でやられているというように感じました。ですが、一見、ニュートラルに見えても、研究活動に対して影響を与えて、さらに、その分野で、これからどのような方向に発展していくべきなのか、どのような問題があるのか、というようなことの検討に影響を与えるのではないでしょうか。また、その指標というのは、本当にニュートラルなものだけでよいのでしょうか。また、その指標を、その分野の中で、どのようなかたちで提案されていくのがよいかということについて、考えをお伺いできればと思います。

小泉：今、ニュートラルとおっしゃいましたが、今回、提案しようとしている指標としては、あらゆる指標があり得ると思います。厚みということに関して、提案しようと考えているのは、今までそこが見過ごされてきたからということがあります。厚みを見れば、それこそ、伝統と歴史のある量と質というものを見なくてよいかというと、そうではありません。いろいろな指標を提案するので、その後は、各大学でどれを重要と見るかそれぞれ考えてください、ということになると思います。例えば、トップ1％論文を出す研究者をどんどん育てるという設定を立てた大学でしたら、うちの大学は、トップ1％論文を指標と考えます、ある種エッジの効いた指標を1番だと考えます、というように研究力を高めていく努力をするということもあり得ると思います。また、逆に、トップ1％は狙いません、うちの大学は、層の厚さというものを狙います、ということであれば、厚みまたは論文数を見ればよいわけです。私の研究プロジェクトでやれることは、いろいろな指標の提案と、いろいろな分野の様々なことが見られる指標を提案することだと思っています。

参加者H：少し前に、人文系で、翻訳が研究活動でとても評価されていました。それが、評価されないようになってきたということも言われています。やはり、指標で何を入れるかということは、すごく学問の方向性を左右することになるのかなと思いました。そのような指標は、大学ごと異なってよいということになるのですか。

小泉：まさに、指標が左右するというのは、十分あると思います。ですので、指標の設定というのは、本当に気をつけなければいけないと思っています。例えば、特許という指標に関してですが、特許を指標にしてしまうと、みんな特許を取り始めると思います。しかし、本当にそれがよいのかどうかは、議論しなければいけないところです。指標だけを考えると、それを上げようと努力しますが、本当に必要なのかどうかというのは、大学のミッションと目標に応じて異なってきます。したがって、指標に振り回されずに、この指標はこういう問題点がある、ということを、常にしっかりと認識しながら使っていく必要があると思っています。