2023年4月20日木曜日

ChatGPT記事への反応を定量分析

 2ヶ月ほど前の話なのだが「ChatGPTでプログラマはお払い箱になるのか」という記事を書いたところ,珍しくバズり,いつもの数十倍以上のアクセスがあった.はてブのホッテントリにも載ったので,ブコメが100件近く(正確にいうと94件)ついた.

最近,学生がわりと高性能な日本語センチメント分析器(感情分析器)を見つけてきたので,ちょっとした手遊びとして,94件のブコメをざっとスクレイピングして分析器にかけてみた.っていうか,「人々はエシカル消費をどう捉えているか」で紹介した,学生がやっているエシカル消費に関する研究で作ったスクリプトを援用してみた,というわけである.

分析結果

さて,結果はどうなったか.

センチメント分析

まず,94件の内訳を紹介する.ポジティブが18件,ネガティブが29件,ニュートラルが47件となった.ここでは,ポジティブは肯定派,ネガティブは否定派,ニュートラルは中立派ととらえておこう.ポジティブが最も少ない結果となったが,まあ,記事の内容そのものが,プログラマを代替することはないのでは?という否定的なものだったせいか.

次に,それぞれのコメントをポジティブ群,ネガティブ群,ニュートラル群に分けて,簡単なテキスト分析をしてみた.ここではポジティブおよびネガティブ群の結果を紹介する.

ワードクラウド

グループに分けたコメントからワードクラウドを作成してみた.ワードクラウドは,文章中に現れる単語群を,その出現頻度の高さに応じて単語の大きさを大小させることで,どんな言葉が使われているかを視覚的に表す可視化手法である.

以下に紹介するのは,コメントを形態素解析し,名詞,動詞,形容詞などを抽出したものに基づいて作成したワードクラウドである.なお名詞に関しては,連続して出現する名詞は一つの名詞として繋げる,いわゆる「名詞の連接処理」を加えている.

ポジティブ群から紹介しよう.「プログラマ,AI,書く,くれる」というキーワードが大きく示されている.AIがプログラマの代わりに書いてくれる,というようなコメントが目立ったということか.実際,18件のコメントを眺めてみると,AIがプログラムを書いてくれるのでプログラマは楽をできるとか,使い方を工夫すれば十分に使えるなど,そのようなコメントが並んでいる.

次はネガティブ群のそれである.

「chatbot,お払い箱,人,AI,自分」という単語が大きく表示されている.これはどう解釈すべきだろうか.残念ながら,このワードクラウドから引き出せる情報は少ない.ネガティブ群29件のコメントを全部眺めてみると,その多くは「いやお払い箱にはならんやろ?」というものである.このセンチメント分析器の精度はけっこう高いなあと感心した.

共起ネットワーク図

同じような分析ではあるが,共起ネットワーク分析もやってみた.共起ネットワーク図とは,やはり単語の出現頻度でその大きなものを大きなノードとして表し,さらに,同じ段落のなかに入っている(これを「共起」という)頻度が高いものはエッジで結ぶ,その結果をグラフとして表すというものである.なお,ここでいうグラフとは,皆さんお馴染みの棒グラフや折れ線グラフというグラフではなく,数学のグラフ理論でいうところのグラフ,ノードと呼ばれる点や丸で表された図形を,エッジと呼ぶ線で繋いだ図のことである.

こちらも,ポジティブ群から紹介しよう.

対象とするデータのサンプルサイズが小さいので,いささかシンプルなグラフになっているのはご容赦いただきたい.「プログラマは他にやることができる」(右下)とか,「うまいこと使って作業効率を上げる」(上)とか,そのような話題が見出せる.

ネガティブ群はどうか.

「chatgptは嘘をつく」「セキュリティ的に無理」というような共起関係(中心あたり)が目に付く.右上の「正しい,使える,出る」という単語群は,一見,肯定的な意見のようにもみえるが,元データに立ち戻って確認してみると,「出てきたものが正しいが判定できないと使えない」とか「正しさが保証できるコードが出ないと使えない」とか,そのようなものであった.

0 件のコメント:

コメントを投稿