Difyで徹底検証!AIモデルを変えたら出力がどう変わるのか試してみた

 

はじめに

AIで文章を生成する際、「どのAIモデルを使うか?」というのは意外と見落とされがちですが、出力される文章の品質やトーンには大きな違いがあります。特に、ChatGPT(GPT-4o)やClaude 3、Gemini 1.5などの最新モデルは、それぞれに強みがあるため、目的に応じたモデル選択が重要です。
そこで今回は、ノーコードでAIアプリを構築できるDifyを使って、「ファクトチェック+法的リスクチェック+リライト」のワークフローを構築し、使用するAIモデルを切り替えたときの出力結果がどう変わるのかを徹底比較してみました。

Difyワークフローの構成

今回作成したワークフローは、以下の3ステップで構成されています。
  1. ユーザーがブログ記事原稿を入力
  1. ファクトチェック・法的リスクのチェック
  1. リライトして最終原稿を出力
この中で、ファクトチェックとリライトの処理を担う「LLMノード」において、使用するモデルを以下の3種類に切り替えて比較しました。
  • GPT-4o(OpenAI)
  • Claude 3 Opus(Anthropic)
  • Gemini 1.5 Pro(Google)
 

ワークフロー作成手順

完成図

下記を目指して作成します。
  1. 開始ノード:ファクトチェック・法的リスクチェック・リライトしたい原稿を入力
  1. ファクトチェック・公開判断:ファクトチェック・法的リスクチェックを実行
  1. リライト&概要作成:原稿をリライトし、ブログ記事の概要を作成
  1. 終了:「リライト&概要作成」の結果を出力する
 
 

1.開始ノード

「+」から入力フィールドを作成します。
今回はブログ記事をそのままコピペするため、「段落」を選択して下記を入力し保存します。
  • 変数名:編集時に使用する際の変数の名前
  • ラベル名:ユーザーから見える部分
  • 最大長:入力する文字の上限
  • 必須:☑すると入力必須となります。お好みで
 

2.LLMノード①(ファクトチェック+法的リスクチェック)

「+」から開始ノードに続くLLMノードを作成します。
下記を入力
  • AIモデル:ここでAIモデルの選択が可能です。
  • コンテキスト:下の「SYSTEM」で入力する変数を入力
  • SYSTEM:プロンプトを入力します。
プロンプト例
 

3.LMMノード②(リライト)

「+」からLLMノード①に続くLLMノード②を作成します。
  • AIモデル:AIモデルを選択
  • コンテキスト:下の「SYSTEM」で入力する変数を入力
    • ※複数ある場合は、特に参照させたい情報の変数を入力
  • SYSTEM:LLMノード①の出力結果(=[x]text)をもとに、開始ノードで入力した本文(=[x]blog)をリライトするように「変数」を使用したプロンプトにしています。
プロンプト例
 

4.終了ノード

LLMノード②の出力結果を、ユーザーがへの最終的な出力として選択して完了です。
ノードの出力結果(=生成内容)は、「出力変数」から確認できます。
 
 

テスト内容:同一の原稿を各モデルで処理

下記の原稿を入力し、出力結果を比較します。
検証に使用した原稿:
日本では、自転車は歩道を走るのが原則とされており、車道を走るのはむしろ危険行為にあたります。 また、横断歩道では、歩行者がいても車が優先されるため、車は一時停止する必要はありません。 さらに、右折信号が青のときは、歩行者がいても先に車が右折して構いません。ドライバーはスムーズな交通の流れを守ることが大切です。 こうした日常の交通ルールを正しく理解することが、事故を防ぐ第一歩になります。
※この記述には下記3点の誤りがあるため、ファクトチェックおよび法的リスクの確認に適しています。
#誤っている記述(原文抜粋)簡潔にした正しい内容主な根拠
1自転車は歩道が原則、車道は危険行為自転車は原則「車道の左側」を通行。歩道は特例時のみOK。(警視庁)
2歩行者がいても車が優先横断歩道に歩行者がいたら、車は必ず一時停止。(警察庁)
3歩行者がいても右折してOK歩行者が渡っている間は、右折車は待つ必要あり。(警察庁)
 

評価軸

今回は下記の評価軸で比較していきます。
評価軸詳細
ファクトチェック・リスクチェックの精度正確さ、根拠、網羅性
読みやすさ表現の自然さ、構成力、創造性
リンクの正確さ
キャッチコピー生成能力創造性、トーン再現力、簡潔さ
 

結果

GPT-4o

全文
【Step 3: リライト案】
タイトル
知らないと危険!自転車と車の正しい交通ルールとは?【2024年最新版】
[2024年6月XX日]
はじめに
日常生活で欠かせない移動手段である自転車や車。でも、実は誤解されている交通ルールが意外と多いんです。特に自転車の通行方法や、横断歩道・信号での車と歩行者の優先関係など、間違った認識が事故の原因になることも。今回は、知っておくべき基本の交通ルールをわかりやすく解説します。
■ 自転車は歩道じゃなく「車道」を走るのが原則
日本の道路交通法では、自転車は「軽車両」として扱われ、原則として車道の左側を通行することが義務付けられています。歩道を走行できるのは、以下のような例外的な場合に限られます。
  • 13歳未満の子ども、高齢者、身体に障害のある方
  • 「自転車通行可」の標識がある歩道
  • 交通状況によりやむを得ないとき(例:車道に著しい危険がある場合)
つまり、「自転車=歩道が安全」というイメージは誤り。安全のためにも、正しい通行ルールを守りましょう。
■ 横断歩道では歩行者が最優先!車は必ず一時停止
横断歩道に歩行者がいる場合、車は必ず手前で一時停止し、歩行者の通行を妨げてはいけません。これは道路交通法第38条に明記されたルールで、違反すれば罰則もあります。
近年、横断歩道での一時停止率が問題視されており、交通事故の大きな要因にもなっています。ドライバーは歩行者の存在に十分注意し、ルールを守って安全運転を心がけましょう。
■ 青信号でも歩行者優先!右折時は特に注意
交差点で右折信号が青でも、横断歩道を歩行者が渡っている場合は、車は歩行者の通行を妨げてはいけません。つまり、右折車は歩行者の横断が終わるまで待つ必要があります。
「青だから進んでいい」は大きな誤解。信号の色だけでなく、歩行者の動きにも気を配ることが、事故を防ぐ基本です。
■ おわりに
交通ルールは私たちの命を守るための大切なルールです。特に自転車や車を運転する際は、正しい知識を持つことが事故防止の第一歩になります。日々の移動を安全で快適にするために、今一度交通ルールを見直してみませんか?
【概要(スニペット)】
自転車は原則車道、自動車は横断歩道で歩行者優先!間違いやすい交通ルールをわかりやすく解説します。安全運転の第一歩に。
評価軸点数 (10 点満点)コメント(特徴・改善ポイント)
ファクトチェック・リスクチェックの精度8 / 10主要ルール(自転車は軽車両・横断歩道での歩行者優先など)は正確で、根拠条文も概ね網羅。ただし「高齢者=70 歳以上」「停止義務と徐行義務の差異」「歩行者信号が赤のケース」など細部が省略されており、誤解リスクが残る点で 2 点減。
出力の傾向8 / 10見出し・箇条書きを活用した構成で読みやすく、口語調と解説調のバランスも良好。導入から結論まで流れが一貫している。創造性は標準的で、安全啓発記事として無難にまとまっている分、インパクトは控えめ。
キャッチコピー生成能力7 / 10タイトル「知らないと危険!〜【2024年最新版】」は緊急性+最新版の訴求で目を引くが、やや定番のフレーズ。スニペットも要点を端的に示している一方、独自のひねりやエモーショナル要素が弱め。さらに印象を強める余地あり。
 
 

Gemma

全文
 

Gemini1.5Flash

全文
【Step 3: リライト案】
タイトル:日本の自転車と歩行者優先ルール:正しく理解して安全運転を心がけましょう (2023年10月27日)
はじめに
日本の道路交通ルールは複雑で、誤解しやすい部分も多いです。特に自転車の走行場所や、横断歩道での歩行者と車の優先順位などは、正しく理解していないと、思わぬ事故につながる可能性があります。この記事では、自転車の走行ルールと歩行者優先のルールを改めて確認し、安全な交通社会の実現に貢献することを目指します。
本文
日本では、自転車の走行場所は原則として車道です。ただし、歩道通行が認められる場合もあります。それは、自転車通行可の標識が設置されている場合や、自転車専用通行帯が設けられている場合など、歩行者と自転車の安全を確保できる状況に限られます。歩道通行が危険と判断される場合は、車道を走行する必要があります。状況に応じて適切な走行場所を選んでください。
横断歩道では、歩行者が横断しようとしている場合、車は必ず一時停止し、歩行者優先でなければなりません。これは道路交通法で明確に定められています。歩行者がいるかどうか、また横断しようとしているかどうかをしっかり確認し、安全に配慮した運転を心がけましょう。
右折信号が青であっても、横断歩道を歩行者が横断している、または横断しようとしている場合は、車は一時停止して歩行者を通行させる必要があります。安全確認を怠って事故を起こした場合は、ドライバーに責任が問われます。常に周囲の状況に注意し、安全第一で運転しましょう。
これらのルールを正しく理解し、実践することで、自分自身だけでなく、周りの人々も守ることができます。安全な交通社会を作るために、一人ひとりが責任ある行動を心がけましょう。
【概要】
日本の自転車ルールと歩行者優先ルールを解説!自転車は原則車道走行ですが、条件付きで歩道通行も可能です。横断歩道では必ず歩行者優先、右折時も歩行者確認が必須です。道路交通法に基づき、安全運転のための正しい知識を身につけ、事故防止に役立てましょう。安全な交通社会の実現のために、今一度ルールを確認しましょう!
【概要】
日本の自転車ルールと歩行者優先ルールを解説!自転車は原則車道走行ですが、条件付きで歩道通行も可能です。横断歩道では必ず歩行者優先、右折時も歩行者確認が必須です。道路交通法に基づき、安全運転のための正しい知識を身につけ、事故防止に役立てましょう。安全な交通社会の実現のために、今一度ルールを確認しましょう!
 
 

比較結果とモデルごとの特徴

モデル名出力の傾向ファクトチェックの精度リライト表現コメント
GPT-4o端的かつ中立的正確に修正(ソース提示あり)無駄のない構成で分かりやすいビジネス文書に向く安定感
Claude 3 Opus丁寧で親しみやすい厳密だが少し過剰修正も柔らかいトーンで配慮がある社内文書・FAQ向き
Gemini 1.5 Pro論理的で構成が綺麗一部古い情報を参照明瞭な段落構成構成力は強いが情報鮮度に注意

出力例(GPT-4o)

2024年4月時点、日本政府はAI生成物の著作権について明確なガイドラインを示していませんが、文化庁は過去に「AIによる生成物には著作権が認められない」との見解を示しています(出典:文化庁資料)。
→ 誤りを正しつつ、出典も提示。ビジネス文書としてそのまま使える品質です。

モデル選択のポイントまとめ

利用目的推奨モデル理由
公式ブログや社外公開向けGPT-4o正確性・安定性・出典提示に優れる
社内向けの柔らかい文章Claude 3 Opus配慮ある言葉選びで読みやすい
長文記事・レポート生成Gemini 1.5 Pro論理的な構成と要点整理が得意

まとめ

Difyで構築した「ファクトチェック&リライトワークフロー」において、使用するAIモデルを変えるだけで、文章のトーン・構成・信頼性が大きく変わることが明らかになりました。
特に、GPT-4oは精度・スピード・安定性のバランスが取れており、企業ブログやビジネス文書の用途に非常に適しています。
目的に応じて最適なモデルを選び、Difyでのワークフローに取り入れることで、より高品質なコンテンツ運用が実現できるでしょう。
モデル名特徴推奨シーン
GPT-4o正確・中立・出典付き社外向けブログ・報告書
Claude 3優しい・丁寧・冗長気味社内FAQ・ナレッジ共有
Gemini 1.5構成力・要点整理長文記事・マーケティング

お問い合わせ

AIを活用したワークフロー構築や、LLM選定にお悩みの方は、株式会社Elcamyまでお気軽にご相談ください。目的や組織の環境に合った最適なご提案をさせていただきます。
ご希望であれば、このブログのアウトラインや画像作成も続けてご支援可能です。ご要望があればお知らせください。
 
 
入力した文章
日本では、自転車は歩道を走るのが原則とされており、車道を走るのはむしろ危険行為にあたります。
また、横断歩道では、歩行者がいても車が優先されるため、車は一時停止する必要はありません。
さらに、右折信号が青のときは、歩行者がいても先に車が右折して構いません。ドライバーはスムーズな交通の流れを守ることが大切です。
こうした日常の交通ルールを正しく理解することが、事故を防ぐ第一歩になります。
 
 
 
4oで出力された文章
【Step 3: リライト案】
タイトル
「自転車と車、歩行者の正しいルールを知っていますか?交通安全の基本を見直そう」
[2024年6月XX日]
はじめに
交通事故を防ぐためには、私たち一人ひとりが正しい交通ルールを理解し、守ることが大切です。つい「こうだったはず」と思い込んでしまうことも多い交通ルールですが、実は法律で定められた内容と違っているケースもあります。今回は、自転車・車・歩行者に関わる基本的なルールについて、改めて確認してみましょう。
■自転車は「車道走行」が原則
日本では、自転車は「軽車両」として扱われており、原則として車道を通行することが法律で定められています(道路交通法第17条)。歩道を通行できるのは、以下のような特例の場合に限られます:
  • 「普通自転車通行可」の標識がある歩道
  • 13歳未満の子ども、70歳以上の高齢者、身体に障害のある方
  • 車道の状況が危険であると認められる場合(交通量が多い、工事中など)
つまり、車道を走ることは危険行為ではなく、正しいルールに基づいた行動なのです。歩道では歩行者が優先されるため、自転車が通行する際には徐行し、歩行者の通行を妨げないよう注意が必要です。
■横断歩道では「歩行者が優先」
意外と誤解されがちなのが、横断歩道における車と歩行者の関係です。日本の道路交通法第38条では、「歩行者が横断歩道を渡ろうとしているとき、または渡っているとき、車両は必ず一時停止しなければならない」と明確に定められています。
つまり、横断歩道に歩行者がいる場合、車は必ず止まって歩行者を優先させる必要があります。これを怠ると違反となり、罰金や違反点数が科されることもあります。
■右折時も歩行者の通行を妨げてはいけない
交差点で右折信号が青になったとき、「歩行者がいても車が先に曲がっていい」と思っていませんか?実はこれも誤解です。
青信号で右折する場合でも、交差点を横断中の歩行者がいるなら、その通行を妨げてはいけません。歩行者が優先されるため、車は一時停止して歩行者が渡り切るのを待つ必要があります。これは道路交通法でもはっきりと定められているルールです。
■おわりに:正しい理解が交通安全の第一歩
普段何気なく利用している道路でも、交通ルールを誤って理解していると、思わぬ事故につながりかねません。自転車も車も歩行者も、それぞれの立場で法律を正しく理解し、互いに配慮しながら行動することが、安全な社会につながります。
今一度、あなた自身の交通ルールの知識を見直してみませんか?
出典: