※2024.8時点の当社調べの情報です。利用シーンによって傾向などに違いがあり得ることや、性能等の変化もあり得ることを踏まえ、ご参考程度の情報としてご活用ください。
1. 主な条件面での比較
| GPT-4o（Open AI社提供） | GPT-4o mini（Open AI社提供） | Gemini 1.5 Pro（Google社提供） | Gemini 1.5 Flash（Google社提供） | |
| 入力対象 |
テキスト 画像 |
テキスト 画像 |
テキスト 画像 |
テキスト 画像 |
| コンテキスサイズ(tokens) | 128,000 |
128,000 |
128,000 |
128,000 |
|
学習データの鮮度 |
~2023.10 | ~2023.10 | ~2023.11 | ~2023.11 |
|
Graffer AI Studioでの利用時の従量課金料金 ※1: 1000文字あたり） ※2: 1送信画像ファイルあたり |
2.5円 ※1 1.5円 ※2 |
無償 ※1 1.5円 ※2 |
0.45円 ※1 |
無償 ※1 0.025円 ※2 (コンテキストサイズを拡大した場合は変更) |
| 利用時データのモデル学習有無 | 利用時のデータはモデル学習には使われない | 利用時のデータはモデル学習には使われない | 利用時のデータはモデル学習には使われない | 利用時のデータはモデル学習には使われない |
| LLM提供会社でのデータ保持 | 悪用、誤用の監視目的で30日間保持 | 悪用、誤用の監視目的で30日間保持 | ログ非保管 | ログ非保管 |
| データ保存・処理のリージョン | リージョンの概念なし | リージョンの概念なし | 国内 | 国内 |
| サポート国 | 中国など一部対象外 | 中国など一部対象外 | 特に明記なし | 特に明記なし |
※1: 1000文字あたり）
※2: 1画像ファイルあたり
2. 2024.7時点で公表されている主なベンチマークを参考にした性能比較（GPT-4o vs Gemini 1.5 Pro）
| 能力項目 | 能力発揮ユースケース | 評価 |
| 多言語、多分野での知識量 | 知識を得たい ／わかりやすく解説してほしいなど | 大きな差はなし |
| 数学的推論と一般的推論 | 文章の作成や情報の整理/要約/分析など | GPT4oのほうが優位 |
| コード生成能力 | プログラミング支援など | GPT4oのほうが優位 |
3. GPT-4o とGPT-4o miniの主な違い
- GPT-4o：GPT4-o miniとの比較においては、知識量や推論・問題解決能力、画像などの解析能力などの面で性能差が見られ（GPT4oがより優れている）、特に高性能な解析、詳細な考察、画像認識などが必要なタスクに適合
- GPT-4o mini：GPT4oと比較して軽量化と高速応答を実現しつつ、コスト効率が非常に高い為（GPT-4oの30分の1未満）、大量のコンテキストを含めた指示を行う場合や、さほど複雑な推論・問題解決能力を求めないタスク、高頻度な利用などに適合
4. Gemini 1.5 ProとFlashの主な違い
- Gemini 1.5 Pro：Flashとの比較においては、特に高性能な解析、詳細な考察などが必要なタスクに適合
- Gemini 1.5 Flash：Proと比較して軽量化と高速応答を実現しつつ、コスト効率が非常に高い為（Proの10分の1の従量単価）、さほど複雑な推論・問題解決能力を求めないタスク、高頻度な利用などに適合
5. 性能面でのGPT-4oとGPT-4o mini、Gemini 1.5の比較・検証の試行結果（当社調べ／任意のユースケースの場合）
【総評】
- 以下1. エクセル関数などの簡易的なコード生成や、2.のような一般的なビジネス知識からの情報提供、提案などのユースケースにおいては、今回の比較モデル間での出力精度にさほど差はなかった。（コストの安いGPT-4o mini及びGemini 1.5 Flashが最もコストパフォーマンスが良いといえる）
- 一方、3～5のような情報処理や分析、気の利いた文章生成の局面においては、GPT-4o mini及びGemini 1.5 Flashはやや推論能力不足、冗長な文章生成などの傾向が見られるため、より高い精度を求める場合はGPT4oやGemini 1.5 Proの利用がベターと考えられる。
- 知識量や情報処理・分析能力、適切な文章作成能力などの総合的な性能としては、以下の通りとの所感。
GPT4-o ＞ Gemini 1.5 Pro ＞ GPT-4o mini ＞ Gemini 1.5 Flash
【試行結果】
1. 簡単なエクセル関数を書いてもらう
（1）プロンプト
以下の条件を満たすエクセル用の関数を作成してください。
・A列に日付（2023/11/01から2023/11/30まで）
・B列に日付ごとの点数（0点から100点まで）が記入されています。
・B列の点数のうち、60点以上を満たす点数の日数を出力する関数
（2）アウトプット
a. GPT-4o
b. GPT-4o mini
c. Gemini 1.5 Pro
d. Gemini 1.5 Flash
（3）評価
| GPT-4o（Open AI社提供） | GPT-4o mini（Open AI社提供） | Gemini 1.5 Pro（Google社提供） | Gemini 1.5 Flash（Google社提供） | |
| 評価 | 〇 | 〇 | 〇 | ◎ |
| コメント |
|
|
|
|
2.
（1）プロンプト
一般的なM&Aにおいて、契約締結までに行う項目・タスクを洗い出してください
以下の例を参考に、不足しているものはあなたが考えてください
#例
情報開示依頼
DD開始（ビジネス回りメイン）
基本合意書締結
詳細DD（法務、労務、財務、ITメイン）
条件調整、最終協議
株式譲渡契約書締結
プレスリリース
（2）アウトプット
a. GPT-4o
b. GPT-4o mini
c. Gemini 1.5 Pro
d. Gemini 1.5 Flash
（3）評価
| GPT-4o（Open AI社提供） | GPT-4o mini（Open AI社提供） | Gemini 1.5 Pro（Google社提供） | Gemini 1.5 Flash（Google社提供） | |
| 評価 | 〇 | 〇 | 〇 | 〇 |
コメント：どのフェーズの情報からリストアップするかや粒度感などは異なるものの、いずれのモデルでも、大枠のタスクをフェーズごとに洗い出すという観点では遜色なし
3. お客様宛のメールの返信文案を作成してもらう
（1）プロンプト
#指示
以下の「過去のメール」の文体を生かしながら、以下の「今回のメール趣旨」の内容でメール文章案を作ってください。
「過去のメール」は文体・ニュアンスの参考用ですので、あくまで内容は「今回のメール趣旨」の内容のみを反映してください。
#今回のメール趣旨
・山田さんあて
・先日のお打ち合わせのお礼
・とても有意義な会議ができた旨の感想
・今後も両者にとってwin-winな協業可能性について模索したい旨
・来月東京に出張の予定があるので、7月15日の10-12時、7月16日の13-15時、7月17日の15-17時のいずれかでお時間取れないか
#過去のメール
東あきら様
いつもお世話になっております。
本日は、大変ご多忙の折にお打ち合わせの機会を頂戴いたしまして、心より感謝申し上げます。
誠にありがとうございました。
（以下省略）
（2）アウトプット
a. GPT-4o
b. GPT-4o mini
c. Gemini 1.5 Pro
d. Gemini 1.5 Flash
（3）評価
| GPT-4o（Open AI社提供） | GPT-4o mini（Open AI社提供） | Gemini 1.5 Pro（Google社提供） | Gemini 1.5 Flash（Google社提供） | |
| 評価 | ◎ | 〇 | 〇 | 〇 |
| コメント |
|
|
|
|
4. SNS等への投稿文案についての炎上リスクをチェックする
（1）プロンプト
# 指示
あなたは、リスク管理のプロです。
・以下の投稿文から、炎上リスクのある内容を指摘し、その理由を教えてください。
・指摘した内容の炎上リスクを10段階で評価してください
#前提条件
化粧品会社が、アカウント登録している顧客に対してLINEからお知らする文章です。
多くの人に見てもらえるように興味を引くような文章にしています。
#出力形式
炎上リスクのある内容、その理由、炎上リスクの評価を表形式で出力してください
# 投稿文
透明感のある素肌に！
日焼けが特に気になる季節になりました。
あなたの素肌、大丈夫？
白さをキープ、美しさを永遠に
徹底的な美白のための美容液、今なら50%OFF
お見逃しなく
（2）アウトプット
a. GPT-4o
b. GPT-4o mini
c. Gemini 1.5 Pro
d. Gemini 1.5 Flash
（3）評価
| GPT-4o（Open AI社提供） | GPT-4o mini（Open AI社提供） | Gemini 1.5 Pro（Google社提供） | Gemini 1.5 Flash（Google社提供） | |
| 評価 | 〇 | 〇 | ◎ | 〇 |
| コメント |
|
|
|
|
5. アンケート回答内容の一次仕分けをする
（1）プロンプト
以下の#アンケート回答の内容一つひとつについて、それぞれ以下の#分類 のいずれかを判断し、
アンケート回答、分類結果（番号のみ）、分類結果の判断の理由、の順に表形式で出力してくださいをして下さい。
#分類
1. 不満の声と考えられるもの
2. それ以外
3. 上記1か2か判断に迷うもの
#アンケート回答
店員さんがとても親切で、商品の説明も丁寧にしてもらえました。大変満足しています！
混雑していたにも関わらず、スタッフの対応が迅速で感動しました。また利用したいと思います。
品揃えが豊富で、欲しい商品をすぐに見つけることができました。接客も素晴らしく、快適な買い物ができました。
レジでの待ち時間が長く、少しイライラしました。もう少し人員を増やしてほしいです。
店内の案内表示がわかりにくく、商品を探すのに時間がかかりました。改善を望みます。
商品の種類は多いのですが、接客する店員さんが見当たらなかったため、不便を感じました。
（以下省略）
（2）アウトプット
a. GPT-4o
b. GPT-4o mini
c. Gemini 1.5 Pro
d. Gemini 1.5 Flash
（3）評価
| GPT-4o（Open AI社提供） | GPT-4o mini（Open AI社提供） | Gemini 1.5 Pro（Google社提供） | Gemini 1.5 Flash（Google社提供） | |
| 評価 | ◎ | ◎ | ◎ | 〇 |
| コメント |
|
|
|
|
※ほかのAIモデルも含めた主な特徴については、以下もご参照。