ChatGPTで試したけど精度が出ない｜原因はモデルではなく渡し方にある

この記事は精度が出ない原因の切り分けを扱います。社内ルールの作り方は生成AIの社内ルール、費用はAI導入費用の相場で扱っています。

業務でAIを試して、思った結果が出ない。このとき最初に疑われるのはモデルの性能ですが、実際の原因はほぼ渡し方の側にあります。

順番に切り分けると、どこで崩れているかは特定できます。

精度が出ない4つの原因

1つ目が見落とされがちです。紙をスキャンしたPDFは、文字が潰れて別の文字として読まれていることがあります。人間の目では読めるので、原因として疑われません。

読む・判断する・書く・整えるを1回で頼むと、結果がおかしくても原因が分かりません。分けて渡します。

人が選ぶ工程を真ん中に置くと、間違いが下流へ流れません。確認の場所が決まります。

2つ目の「判断の分かれ目を書き出す」は、AIを使うかどうかに関係なく効きます。口頭で共有されている基準を文章にした時点で、引き継ぎの資産になります。

手当てをしても合わない領域はあります。無理に続けるより、切り分けたほうが早いです。

3つとも「はい」の業務から任せると、手当ての効果が確かめられます。「いいえ」が付いた業務は、元データなら書き出し、正誤なら判断基準づくりを先に行い、条件が毎回違うものは任せる範囲を小さく絞ります。

任せる前の確認で最も重要なのは「出力の正誤を人が判断できるか」です。出力が正しいか人が判断できない領域では、確認の工程が成立しません。ここを飛ばして導入すると、間違いに気づかないまま業務が回ります。

どこで崩れているかを一緒に見る

実際に試した内容と、渡した資料を見ながら原因を切り分けます。手当てして続けるか、別の業務に替えるかまで整理します。

1つに絞るならClaudeかChatGPTのどちらかで十分です。精度の差より、渡し方の差のほうが結果に効きます。複数を並行して比べるのは、渡し方が固まってからにしてください。比べる前提が揃っていないと、どちらが良いかも判断できません。

ある程度は改善しますが、元データが読めていない場合はプロンプトでは直りません。まず渡している資料が機械にとって読める形かを確認してください。スキャンしたPDFを渡していた、というのはよくある原因です。

扱える分量と使えるモデルが変わるので、長い資料を扱うなら有料版のほうが安定します。ただし「無料版だから精度が出ない」と決めつける前に、渡し方の4点を先に見直したほうが原因にたどり着きます。

その業務はAIに任せる前段階にあります。正解を判断できないということは、今も属人的に処理されているということです。まず判断基準を書き出すところから始めてください。それ自体が引き継ぎの資産になります。