クライアント対応の「よくある質問」、カスタムGPTに即答させてみたら「任せていい質問」と「人が答えるべき質問」がはっきり分かれた話

業務効率化の実践記録

「クライアントから毎回同じ質問が来る」を、AIに任せられるか試してみた

Web制作会社で働いていると、非エンジニアの窓口担当(ディレクター職)から「クライアントから毎回似たような質問が来て、そのたびに似たような文面を一から打っている」という相談をよく受ける。今回は、その「よくある質問」への一次回答をChatGPTのカスタムGPTに任せられるか試してみた。

結論から言うと、修正回数や納期、保守範囲など社内ルールとして明文化されている質問には、AIは資料の内容に忠実な、丁寧な回答をほぼ即座に返せた。一方で、金額交渉や特別対応が絡む質問には、会社として言ってはいけない譲歩をにじませた回答を作ってしまうことがあり、そのまま送るのは危険だと分かった。この記事では、実際にやってみた手順と、任せていい質問・任せてはいけない質問の線引きをまとめる。

実際にやってみた

手順1: 「よくある質問」を洗い出し、ナレッジとしてまとめる

まず、窓口担当に過去半年分のメール・チャットのやり取りを見返してもらい、繰り返し聞かれている質問を洗い出してもらった。結果、「修正は何回まで無料か」「公開までどれくらいかかるか」「保守費用に何が含まれるか」「ドメイン更新はどちらが行うか」など、10個ほどの定番質問に絞られた。

この質問一覧と、根拠になる契約書・料金表の該当部分をテキストにまとめ、ChatGPTのカスタムGPT機能の「Knowledge」欄にアップロードした。指示文(Instructions)には「アップロードした資料に書かれている内容のみに基づいて回答すること。資料に書かれていない内容は、勝手に判断せず『確認して折り返します』と答えること」と明記した。

手順2: 実際の質問パターンをカスタムGPTに投げてみる

過去の実際の問い合わせを匿名化したうえで、10パターンほどそのまま入力してテストした。「修正は何回までですか」「公開までどれくらいかかりますか」といった、資料に明確な答えが書かれている質問には、資料の該当箇所を根拠に、過不足のない丁寧な回答が返ってきた。窓口担当がゼロから文章を考えるより明らかに速く、文面のトーンも安定していた。

TOI

TOI

意外とちゃんと「資料にない」と言えるんだな、と最初は感心してしまった

手順3: 「際どい質問」を意図的に混ぜてみたら、危険な回答が出た

次に、これまで実際の対応で判断に迷った経験のある「際どい質問」を混ぜてみた。「他社の見積もりの方が安いのですが、その分安くしてもらえませんか」「今回だけ特別に修正回数を増やしてもらえませんか」「担当者を変えてほしい」といった、金額交渉・例外対応・クレームに近い質問だ。

すると、「資料にない内容は確認する」という指示があったにもかかわらず、値引きや例外対応をやんわり匂わせるような、会社として言うべきでない方向の回答を作ってしまうケースがあった。資料に書かれていない範囲を、丁寧な言葉遣いで“それらしく”埋めてしまう挙動で、指示文だけで完全に防ぐのは難しかった。クレームに近いトーンの質問でも、文面としては丁寧でも「申し訳ございません」を機械的に繰り返すだけで、相手の感情に寄り添っている感じがしない回答になり、そのまま送ると火に油を注ぎかねないと感じた。

クレーム対応の返信メール、AIに下書きさせてみたら「正しいけど、他人事」な文面ばかりだった話
納期遅延やバグ報告への「お詫びメール」、AIに書かせて楽できないか試したくなったWeb制作会社で働いていると、納期の遅延連絡やバグ報告への謝罪メールを書く機会がどうしても出てくる。事実関係を整理しながら、相手を刺激しない言葉を選び、かつ言い...

結論: AIに任せていいこと・人にしかできないこと

検証を通して、任せていい質問と、人が最終判断すべき質問の境界がはっきり見えてきた。

AIに任せてよいこと: 社内ルールが明文化されている定型質問への一次回答

修正回数や納期など、資料にすでに「答え」が存在する質問については、AIに任せて問題なかった。回答のスピードと文面の均一化という点では、人が一から打つよりむしろ安定していた

人にしかできないこと: 金額交渉・例外対応・感情が絡む質問の最終判断

資料に答えがない質問、特に金額やクレームが絡む場面では、AIに一次回答をそのまま作らせるのは危険だと判断した。「資料にない」と正直に答えるより、もっともらしい答えをその場で作ってしまう方向に流れやすいのが、今回の検証で一番の発見だった。

非エンジニアの同僚に実際に伝えた手順

この検証を踏まえて、窓口対応を担当する同僚には次の手順を勧めた。

  1. 過去の問い合わせを見返し、「明文化されたルールだけで答えられる質問」だけをリストアップする: 金額交渉やクレームに近い質問は、最初から対象に含めない
  2. その質問と根拠資料だけをカスタムGPTのKnowledgeに読み込ませ、指示文に「資料にない内容は答えず確認すると返す」ことを明記する
  3. 過去の実際の問い合わせ(匿名化したもの)を10〜20パターン投げて、資料の内容通りに答えられているか一つずつ確認する
  4. 金額交渉・例外対応・クレームに近い質問をわざと混ぜて、危険な回答が出ないかストレステストする
  5. 危険な回答が出た質問パターンは「AIに一次回答をさせない質問リスト」としてまとめ、窓口担当が必ず自分で判断する運用にする
TOI

TOI

「任せる質問」より先に「任せない質問」を決めておく方が、結局は安全に運用できると気づいた

「AIチャットボットによくある質問対応を任せる」と聞くと、すべてを自動化するイメージを持ちがちだが、実際にやってみると、うまくいくのは資料に答えが書いてある定型質問だけだった。それ以外の質問にまでAIを使おうとすると、かえって危険な回答をそのまま送ってしまうリスクが上がる。

まとめ: クライアント対応にカスタムGPTを使うときに押さえること

  • 社内ルールが明文化されている定型的な質問は、カスタムGPTに任せて回答のスピードと品質を安定させられる
  • 資料にない金額交渉・例外対応・クレームに近い質問には、AIはそれっぽい回答を作ってしまいがちで、そのまま送るのは危険
  • 導入前に「AIに任せる質問」より先に「AIに任せない質問」をリスト化しておくと安全に運用できる
  • 実際の問い合わせパターンでストレステストしてから運用を始めることが欠かせない

「よくある質問」対応の一次回答はAIでかなり時短できるが、資料に答えがない場面でどこまでAIに言わせるかは、導入する側が事前に線引きしておく必要がある。この役割分担さえ押さえておけば、非エンジニアの担当者でもクライアント対応の負担を安全に減らせるはずだ。

コメント

タイトルとURLをコピーしました