AIでアンケートの自由回答を分析して失敗した話
AIでアンケートの自由回答を分析して失敗する人の多くは、AIがまとめた「多かった意見」だけを読んで、少数でも大切な声や、具体的な不満の中身を見落としてしまう人です。AIを使えば、何百件もの自由回答を、数分で分類して要約してもらえます。けれど、AIのまとめは「多い意見」を目立たせる一方で、数は少なくても見逃してはいけない声を「その他」にまとめてしまうことがあります。この記事では、まなぶの失敗ストーリーをもとに、AIでアンケートの自由回答を分析して失敗した理由と、声を取りこぼさない読み方を解説します。
「好評でした」の報告のあとに、同じ不満がくり返された
今年の6月、まなぶの部署では、取引先の担当者向けにオンラインのセミナーを開きました。終わったあとのアンケートには、120件ほどの回答が集まり、そのうち半分ほどに自由回答の欄の書き込みがありました。セミナーの振り返りの資料を作る担当になったまなぶは、自由回答をすべてAIに渡して、「意見を分類して、主な傾向をまとめて」と頼みました。
AIのまとめは、とても分かりやすいものでした。「全体として満足の声が多く、特に事例紹介のパートが好評」「一部に、時間がやや長いという意見」「その他、少数の意見」。まなぶは、このまとめをそのまま振り返り資料に載せて、部署の会議で報告しました。「事例紹介が好評だったので、次回も同じ形で進めましょう」。報告はすんなり通り、まなぶはほっとしていました。自由回答を一件ずつ読んでいたら半日はかかったはずの作業が、30分ほどで終わったことにも、まなぶは満足していました。
9月、2回目のセミナーが終わった数日後のことです。営業担当の先輩から、まなぶに連絡がありました。「大事な取引先の担当の方から、『前回のアンケートにも書いたけど、資料の数字が去年のままでしたよ』と言われたんだけど、知ってた?」。慌てて6月の自由回答を読み返すと、資料の数字が古いという指摘が、3件書かれていました。120件の中の3件だったため、AIのまとめでは「その他、少数の意見」の中に入っていて、中身は書かれていなかったのです。
数は少なくても、それは資料の中身の誤りを知らせる、とても大切な声でした。2回目のセミナーでも同じ資料を使ってしまったため、同じ指摘をされることになりました。先輩と一緒に取引先におわびの連絡を入れ、資料を直して送り直しました。「好評でした」と報告していたぶん、気まずさも大きかったと、まなぶは振り返ります。
あとから考えると、まなぶは自由回答を一件も自分で読まないまま、報告をしていました。AIのまとめは間違っていたわけではありません。満足の声が多かったのは本当でした。けれど、アンケートで本当に拾うべきだったのは、数の多い声ではなく、次に直すべきことを教えてくれる声だったのです。
AIでアンケートの自由回答を分析して失敗した理由
自由回答を、一件も自分で読まなかった
AIに分析を任せると、自由回答をまったく読まずに済んでしまいます。けれど、一度も原文を読まないままでは、AIのまとめが何を拾い、何を省いたのかを判断できません。件数が多いときでも、ざっと目を通すだけで、気になる声に気づけることがあります。AIのまとめを読む前か後に、原文を一度は流し読みするようにしましょう。すべてを丁寧に読む必要はなく、「気になる言葉が出てこないか」を探すつもりで読むだけでも十分です。
「少数の意見」の中身を確かめなかった
AIは、多くの人が書いている意見ほど、大きく取り上げる傾向があります。そのため、数が少ない意見は「その他」「一部の意見」とひとまとめにされがちです。数が少ないことと、大切ではないことは別の話です。AIに「少数の意見も、ひとつずつ中身を書き出して」と頼むか、「その他」に入った回答を自分で読んで確かめましょう。「その他」は、見落としが起きやすい場所だと覚えておくと安心です。
「直すべきこと」を探す目で読まなかった
アンケートを取る目的は、うまくいったことを確かめるだけでなく、次に直すべきことを見つけることにもあります。「どんな意見が多かったか」だけを聞くと、AIのまとめも「良かった点」が中心になりやすいのです。AIに頼むときは、「間違いの指摘」「不満」「要望」を、件数に関係なくすべて書き出してもらうように頼みましょう。
誰が書いた声かを考えなかった
自由回答の中には、大事な取引先や、長くつきあいのある相手の声が入っていることもあります。AIは、どの声が誰のものかを考えずに、同じ一件として数えます。回答した人の立場によって、声の重みが変わることもあると知っておきましょう。名前や会社名を入力してよいかは会社のルールを確かめつつ、気になる声は、担当の人に共有することが大切です。まなぶの場合も、営業担当の先輩に一言伝えていれば、2回目のセミナーの前に資料を直せていたはずでした。
AIのまとめを、そのまま報告に使った
AIのまとめは読みやすいため、そのまま資料に載せたくなります。けれど、まとめをそのまま使うと、報告する本人も中身を分かっていないまま話すことになります。AIのまとめは「下書き」、報告は自分で読んで確かめた中身でと決めておきましょう。質問されたときに、原文を示しながら答えられる状態にしておくと安心です。報告資料に、印象に残った回答を2〜3件そのまま載せておくのもおすすめです。
AIでアンケートを分析して失敗する人と、声を拾える人の違い
AIでアンケートの自由回答を分析する前のチェックリスト
AIは、たくさんの自由回答を整理するときの心強い道具です。大切な声を取りこぼさないために、次の項目を確かめてみてください。
- 自由回答の原文を、一度は自分で流し読みした
- 「その他」「少数の意見」に入った回答の中身を確かめた
- 不満・間違いの指摘・要望を、件数に関係なく書き出してもらった
- 大切な相手からの声が入っていないかを確かめた
- 報告に使う内容は、原文と照らし合わせて確かめた
- アンケートの内容をAIに入力してよいか、会社のルールを確認した
まなぶは今、アンケートを分析するときは、まずAIに頼む前に原文を10分だけ流し読みし、気になった回答に印をつけています。そのうえで、AIには「多かった意見」と「件数に関係なく直すべき点」を分けてまとめてもらっています。AIには整理を任せて、声を聞くのは自分。そう決めてから、振り返りの資料に「次回直すこと」の欄が必ず入るようになりました。
仕事でのAIの使い方を身につけるなら
AIを仕事に上手に取り入れるには、AIに任せる部分と、自分で確かめる部分を分けて使う方法を知っておくことが大切です。
ChatGPTなどの生成AIを学び仕事に活かす!「DMM 生成AI CAMP」
業務フローの見直し方や、指示の出し方(プロンプト)のコツまで含めて体系的に学べるタイプ。アンケートの分析のように、AIのまとめを仕事の判断に使う場面で、確かめ方の型を身につけられます。
資格と仕事に強い!個人レッスンのプログラミングスクール【Winスクール】
プロンプトの基本の型や、業務別の活用シーンを体系的に学べるタイプ。独学で行き詰まった人に向いています。自分の仕事に合わせたAIの使い方を、講師に相談しながら学べます。
まなぶ
みらい
まなぶAIでアンケートの自由回答を分析して失敗する原因は、原文を読まないまま、AIがまとめた「多かった意見」だけで判断し、「その他」に入った大切な声を確かめないことです。原文を一度は流し読みし、直すべき点を件数に関係なく書き出してもらい、報告は自分で確かめた中身でする。それだけで、アンケートは次の仕事を良くする材料になります。仕事でAIを使うときに失敗しないための考え方は、業務でのAI活用の失敗から学ぶでまとめています。
仕事でのAI活用については、AIで週報を書いて失敗する人の特徴5選やAIで仕事のスケジュールを組んで後悔する理由もあわせて読んでみてください。
