Web制作の仕事では、サイト納品後に簡単な満足度アンケートをクライアントに送ることが多い。5段階評価の点数はだいたい高めに付いてくるのだが、自由記述欄に書かれた文章は毎回読み流すだけで、きちんと分析したことがなかった。件数が少ないうちは全部読めば済むが、案件が増えてくると「なんとなく良さそうだった」という肌感覚だけが残り、自由記述に埋もれている小さな不満に気づけないまま次の案件に進んでしまう。
そこで、過去1年分のクライアントアンケートの自由記述（合計27件）をChatGPTにまとめて読ませて、感情分類とテーマ抽出をさせてみた。結果を先に言うと、「特に問題ありませんでした」という定型的な回答の裏に隠れていた具体的な不満を、AIが3件掘り起こしてくれたのは大きな収穫だった。一方で、皮肉や遠慮がちな言い回しを額面通りに「ポジティブ」と誤判定するケースもあり、AIの分類結果をそのまま鵜呑みにするのは危険だと分かった。この記事では、実際にやってみて分かった「AIに任せていい部分」と「必ず人が読み直すべき部分」を書く。
準備は30分、プロンプト設計が9割だった
自由記述の分析自体は難しくなかったが、プロンプトの設計に一番時間がかかった。用意したのは次の3つだけだ。
- 過去1年分のアンケート自由記述をスプレッドシートからテキストで書き出す（社名は伏せ、案件の種類だけ残す）
- 「各回答について、①主な感情（肯定・中立・否定）、②言及されているテーマ（納期・コミュニケーション・品質・価格のいずれか）、③要注意ワード（遠慮した言い回しの可能性がある箇所）を抽出し、表形式で出力してほしい」という指示をChatGPTに与える
- 出力された表を見ながら、否定的・要注意フラグが付いた回答だけを自分の目で読み直す
最初は「良い・悪い」の二択で判定させようとしたが、それだと日本語特有の遠慮がちな表現（「特に大きな問題はなかったです」など）がすべて「肯定」に分類されてしまい、意味がなかった。③の「要注意ワード」の項目を追加してから、ようやく実務で使える出力になった。
TOI
「良い・悪い」で聞くのをやめて「遠慮っぽい言い回しはないか」を聞くようにしただけで、出てくる結果がまるで違った
実際にやってみた：27件のアンケートを分析させてみる
27件の自由記述をまとめて読み込ませ、表形式で出力させた結果、否定・要注意フラグが付いたのは6件だった。このうち3件は、自分でも「ここは気になっていた」と記憶していた案件で、AIの判定も一致していた。
問題は残りの3件だ。1件は「特に問題ありませんでした。強いて言えば、途中の連絡がもう少し早いと助かったかもしれません」という回答で、自分では「肯定寄りのコメント」として読み流していたが、AIは「要注意」フラグを付けていた。読み直すと、確かに「連絡が遅い」という具体的な不満が丁寧な言い回しの中に埋め込まれていた。これは完全に見落としていた。
一方で、AIが「否定的」と誤判定したケースもあった。「正直、最初はどうなることかと思いましたが、最終的にはとても良いサイトになりました」という回答を、AIは冒頭の「どうなることかと思いました」の部分だけを拾って否定的と分類していた。実際は全体としては満足度の高いコメントで、文脈を読めば明らかに誤判定だった。
使ってみて分かった3つのこと
1. 定型的な「問題ありません」の裏にある不満は、AIの方が拾いやすかった
人間が読むと素通りしてしまう遠慮がちな言い回しを、AIは律儀に拾い上げてくれる。これは、大量の文章を毎回同じ基準で機械的にチェックできるというAIの強みがそのまま活きた部分だった。27件を全部読み直すのは面倒でつい流し読みしてしまうが、AIは件数が増えても判定基準がぶれない。
2. 文章全体の流れ（ここまで悪かったが最後は良かった、等）の判定は、まだ人間の方が正確だった
文中の一部分だけを切り取って感情を判定してしまい、文章全体の結論と逆の判定をするケースが複数あった。特に日本語は「最初は不安だったが、結果的には満足」のように、文の前半と後半で評価が反転する構造が多く、これをAIは苦手としているようだった。
3. AIの分類結果は「読むべき回答の絞り込み」に使うのが正解で、「最終判断」には使わないほうがいい
今回、AIが「否定的・要注意」と分類した6件を全部人間が読み直したことで、見落としていた不満に気づけた一方、誤判定も修正できた。AIの出力をそのままレポートに使うのではなく、「どの回答を優先して人間が読み直すか」の一次スクリーニングとして使うのが、今回一番しっくりきた使い方だった。
TOI
27件を全部読み直す時間はなかったけど、AIが絞ってくれた6件だけならちゃんと読めた。この「絞り込み」がいちばんありがたかった
誰でも再現できる分析手順
- 過去のアンケート自由記述をスプレッドシートやテキストファイルにまとめる（社名など個人・企業が特定できる情報は伏せる）
- ChatGPTに「感情（肯定・中立・否定）」「言及テーマ」「遠慮がちな言い回しなど要注意ワード」の3項目を表形式で抽出するよう指示する
- 「否定」または「要注意」フラグが付いた回答だけを、必ず自分の目で原文に戻って読み直す
- 読み直した結果、AIの判定が正しかったか・誤判定だったかを記録し、次回以降のプロンプト改善に使う
- 定期的（案件が10件たまるごと等）に同じ手順を繰り返し、都度の判定基準のブレをなくす
まとめ
- クライアントアンケートの自由記述をChatGPTに分析させると、遠慮がちな言い回しに埋もれた不満を拾い上げてくれることがある
- 一方で、文章の前半だけを切り取って感情を誤判定するケースもあり、AIの判定をそのまま鵜呑みにするのは危険
- 「良い・悪い」の二択ではなく「要注意ワード」のような項目を追加すると、実務で使える精度の出力になった
- AIの分類結果は最終判断ではなく「どの回答を人間が優先して読み直すか」の一次スクリーニングとして使うのが実用的
- 定期的に同じ手順で分析し、AIの判定精度を自分の目で検証し続けることが必要
アンケートの自由記述分析は、件数が少ないうちは気づかなかったが、たまってくると「全部読むのは面倒だが、読まないと見落とす」というジレンマが必ず出てくる。AIに任せきるのではなく、AIに「読むべき箇所を絞り込ませる」使い方に落ち着いたのが、27件を分析してみて得た一番の学びだった。
コメント