【GPT-3.5 VS GPT-4o】ChatGPT誕生2周年記念対決！進化の軌跡を徹底検証

AIキャンプ®の中村です。今回はChatGPT誕生2周年を記念して、初期のChatGPT（GPT-3.5）と、最新のChatGPT（GPT-4o）の対決をしていきます！ChatGPTはこの２年間で驚くほど進化しましたが、実際に初期のChatGPTと今のChatGPTを比較すると、どのくらいの違いがあるでしょうか？本動画では、９本勝負の対決形式で、ChatGPTがどれほど進化したかを紹介します。ぜひ最後までご覧ください。

▼目次
0:00 はじめに GPT-3.5 VS GPT-4o
2:47 ①サザエさんの家族構成を聞く
4:22 ②DXを楽しく説明する
7:10 ③文字起こしした文章を校正する
9:25 ④麺を食べた人を当てる
10:54 ⑤深く思考して回答する（Tree of Thought）
12:16 ⑥２万文字の長文を要約する
13:35 ⑦⑧⑨ChatGPT応用機能
15:44 まとめ GPT-3.5 VS GPT-4o

▼文字起こし

こんにちはAIキャンプの中村です。今回のテーマはこちら、ChatGPT誕生2周年記念対決！GPT-3.5 VS GPT-4O、進化の軌跡を徹底検証！こんなテーマでお届けします。ChatGPTが誕生して2周年となりました。本当にワクワクする2年間だったなと思います。2022年の11月末にGPT-3.5が誕生してですね、翌年の3月にはGPT-4で精度が上がり、さらに2024年の5月にはGPT-4Oが登場してChatGPTの性能や機能がものすごく進化して本当にね、ワクワクが止まらない2年間だったかなと思っております。で、改めてこのChatGPTというものを触れるようにしてくれたOpenAI社さんにはね、本当に感謝をしたいなと思います。本当に私もね、自分の人生とかビジネスを根っこから変えるぐらい大きなインパクトのあるツールとなっております。そこで今回は初期に出たGPT-3.5と今触れるGPT-4Oの性能を比較していきたいなと思います。で、実際にはですね、こちらの画面にあるようにGPT-4Oとかね、3.5の中にもま、いろんな細かいバージョンがあるんですけど、ま、その辺の細かいところはちょっと無視して、ま、3.5と4でシンプルに戦いをしていきたいと思います。本日は９つのプロンプトを使ってどれだけAIが進化したかを実感していただくものになります。この９つをやっていきます。サザエさんの家族構成を聞く、DXを楽しく説明する、文字起こしした文章を構成する、麺を食べた人を当てる、深く思考して回答する、2万文字の長文を要約する、今日のニュースを調べる、少し難しい計算をする、犬の絵を書く、ということでこの９つを使っていきたいと思います。今回の動画を見ていただくと、ChatGPTの文章作成、議事録作成、文章判定など様々なタスクの実行制度が急激に向上していることを実感できるかなと思います。なので初期のChatGPT、ま、つまり3.5ですよね。これを触って「なんだこんなもんか」っていう風にね、がっかりした人は、多分衝撃だと思います。で、またこれは当たり前すぎてあまり話題にならないんですけど、AIの性能が向上するっていうことは私たちが思っている以上に重要なことです。AIの性能が上がるっていうことはAIの能力が実務レベルに達する、そして人間に変わってできるタスクも増えるということなんです。AIがどんどんこう実用的になってくるってことなんですね。なのでこうしたね、性能の違いとかも今回は2周年記念ということで見ていきたいと思いますので是非最後までご覧ください。このチャンネルではChatGPTや生成AIに関する役立つ情報をお届けします。よければチャンネル登録もお願いします。それでは1つ目、サザエさんの家族構成を聞いていきましょう。それでは今回はChatHubといって複数のAIツールを比較できるようなAIツールを使っていきます。左側はChatGPTの3.5ですね。GPT-3.5ターボのモデルですね。で、そしてGPT-4Oの現在のモデルの2つを比較していきたいなと思います。それではサザエさんの家族構成を教えてと打ってみたいと思います。はい、そうするとこんな感じでそれぞれ出てきました。ちょっと見ていきましょう。おかしいですね。波平が夫になっていたり、わかめちゃんが男の子になっていたり、あとタラちゃんがいなくて、えっと、フグ田が父みたいな感じで、ま、なんか合ってるような間違ってるような感じで、ま、GPT-3.5だとサザエさんの家族構成、ま、全然答えられてないですね。はい。ChatGPT登場したばかりの頃ってこんな感じのね、ハルシネーションっていうのがたくさん起きていたのでなかなかね、ChatGPT使えないじゃんって思った人も多かったんじゃないかなと思います。ただもう現在のGPT-4Oですね。波平さんが、えっとお父さんで、舟さんで、サザエさんがいて、マスオさんがサザエさんの夫で、タラちゃん、カツオ君、わかめちゃんということで、あと猫のタマもいますよみたいな感じで、もう完璧ですね。しっかり答えられていますので、このようにサザエさんの家族構成を教えてっていうね、ま、単純な質問に関してもGPT-3.5が全然答えられないのに対してGPT-4Oは見事に答えることができたということですね。これだけでもね、すごく進化してることを感じていただけるんじゃないかなと思います。続いてDXについて楽しく説明していきましょう。DX、デジタル・トランスフォーメーションについて次の5つのパターンでそれぞれ500文字程度で説明してください、ということでこれね、私の大好きなプロンプトなんですけど、こういろんなね、形で説明をさせるんですね。シェイクスピアの劇風に、ツンデレの女の子が告白するように、ドラゴンボールのフリーザ様のようにですね、みたいな感じで、「私の戦闘力は53万です」って答えてくれたり、あとは川柳とか俳句で答えてみるみたいなことをやっていきたいと思います。はい、それではやっていきましょう。はい、ま、出てきました。ちょっと見ていきましょうか。左側のGPT-3.5ですね。デジカル・トランスフォーメーションとはビジネスにおける確信的な変化を示す用語です。シェイクスピアの劇風に例えるとみたいな、ま、なんかただの説明が出てきてますね。ツンデレの女の子が告白するようにとか、え、なんか感じで、ま、川柳はちゃんとできてるかなと思うんですけど、俳句だともうめちゃくちゃで何言ってるかわからないって感じですね。はい、それではGPT-4Oを見ていきましょう。シェイクスピアの劇風に。「おお、デジタル・トランスフォーメーションよ！その名に秘められしは、古き時代を断ち切り、新しき黎明をもたらす力なり！ええい、変化を恐れるが良いな！」みたいな感じでシェイクスピアの劇っぽくなんかすごく喋ってくれていますね。続いてツンデレの女の子が告白するように。「別にあんたに教えてあげるつもりじゃないんだから！でも、せっかくだから言っとくわよ。デジタル・トランスフォーメーションの話じゃないんだから！」みたいな感じで本当にこうツンデレの女の子が告白するような文章になってくれてますね。いいですね。はい、ドラゴンボールのフリーザ風に。「ほほほほほ、デジタル・トランスフォーメーション！これはまさに私のような完璧なる進化を遂げる力！」みたいな感じで、あのフリーザみたいに喋ってくれてますね。はい、で川柳はいいですね。「技術使い古きを壊し新たかなるを作る」みたいな感じでいいですし、これすごいんですよ。俳句で作るってすごい難しいと思うんですけどできてると思うんですよね。デジタル・トランスフォームということで見ていきましょう。「できる限りの新技術で時代の流れを先取りし大胆に変わる企業たちルールや枠組み飛び越えてとんでもない未来を築く楽じゃないけどその価値ありうん、ちょっと勇気が必要ね。」ここいいですね。はい。「全ての挑戦者に幸あれ！不可能を可能に変える力！美味しい未来が待っているんや！やらないの？それじゃあ後悔するってこと！」すごいですよね。これ最新の4になるとこんな感じのね、ものすごく高い表現力を持っているということで進化していることが分かるんじゃないかなと思います。続いて文字起こしした文章を構成していきたいと思います。こんなプロンプト打っています。以下の動画の文字起こし文章を構成してくださいって書いています。で、ここにですね、私のYouTube動画のね、文字があるんですけど汚いんですよね。この下にあるやつが。なのでこれをChatGPTで構成していきます。で、また今回ですね、私のYouTubeチャンネルということなので、この中村俊也とかAIキャンプみたいなね、用語しっかり出るように、え、こんな感じのプロンプトを打っています。はい、それではやっていきましょう。さて、ということで見ていくんですけど、GPT-3.5のところを見ると、ま、ここにトランスクリプトってものが残っていたり、なんかChatGPTだけなんか謎にかっこにくられていたりとかで、なんかちょっとね、違和感のある感じで、この「はい」とかね、無駄な文章があったりとか、ここにタイムスタンプが残っていたり、あと私たちね、AI公式キャラクターAIあおいさんてのがいるんですけど、ま、あおいさんっていうのはちゃんとこうひらがなで書いてねってこう指示を与えているんですけど、ま、ここが全然反映されていないですよね。なんですけどGPT-4Oの方でやるとすごくね、こう綺麗にできてるかなと思います。はい。このあおいさんとかもね、しっかりできていますので、えっと大体ですね、パッと見て、ま、左側も悪くないんですけど、ま、多少ね、エラーがありますので、ま、70点ぐらいの構成かなと。一方で右側は本当にね、かなりできてるかなと思いますので、もう95点レベルの構成ができてるかなと思います。ここなんかすごいですよね。用語がよくわからない。「ChatGPTやコパイロットって何？」といったコメントを頂いてきました、みたいなところをちゃんとね、こうやって話のかこにしてくれてるんですよね。これすごいですよね。はい、ということで、もう右側のGPT-4Oになるともう人間入ってんじゃねえかっていうレベルの文章構成ができるということで、すごくね、実用的になってるかなと思います。で今回は動画の文字起こしという感じでやっているんですけど、これからですね音声を文字起こしした議事録を作るみたいな時にもChatGPTが使えますので、ま、議事録AIとかっていうのもね、GPT-3.5の時は全然使い物にならなかったんですけど、GPT-4Oになると精度が高くなってますので、議事録AIなんかも本当に実用的になったなという変化が起きております。続いて4つ目、麺を食べた人を当てたいと思います。はい、これ私がね、好きなプロンプトなんですけど、え、この中で麺が食べたいと主張してる人は誰ですか？ということです。皆さんもちょっと考えてください。ラーメンが食べたい、節カレー、お好み焼き、わんこそば、ミーゴレンですね。はい、で、えっと答えを先にお伝えすると、ま、ラーメンとわんこそばで、このミーゴレンが難しかったと思うんですけど、これも実は麺なので、え、正解はA、E、Fになります。でね、えっとこのミーゴレンっていうのがこれインドネシアの焼きそばみたいなやつでこんな感じの麺料理なんですけど、この辺りがね、なかなか人間でも難しいところをじゃあChatGPTが答えられるかどうかってのをやっていきたいなと思います。はい、それではいきましょう。はい、そうするとGPT-3.5はえっとね、全然ちゃんと答えられなくてラーメンをね主張してるAさんだけっていう風になっています。一方でGPT-4OはAさん、Eさん、Fさんね、3人が麺料理ですよっていう風に正しく回答できていますね。GPT-3.5だとこの文章判の正当率はもうほぼほぼ0%です。で、GPT-4Oだともうこれ100%ですね。間違えることはもうまずなくなっているんですけど、今までGPT-3.5の時は全然使えなかった文章の抽出や判定っていうものはこんな感じで人間でも難しいミーゴレンとかいう言葉もね、しっかりと分析して抜き出すことができるようになってるよってのがこれがGPT-4Oへの進化となります。はい、続いて5つ目、思考して回答するというやつです。これですね、私がYouTube動画のタイトルをつける時に作っている非常にこうね、あの凝って作ってるプロンプトになります。このプロンプトでは手順1から手順6をこう順番に実行するような少し難しいプロンプト打っています。これね、Tree of Thoughtsプロンプトって言って、ま、少しあの、ちょ、解説が省きますけど、ま、ChatGPTに深く思考して回答させるようなプロセスになっています。はい、ではこれもやっていきましょう。はい、そうするとですね、これね、GPT-3.5だとこのね、Tree of Thoughtsみたいな深く考えるとか、このぐらい長いプロンプトになるともうね、できませんっていう風になっちゃうんですよね。一方でですね、GPT-4Oを見てください。今ね、めちゃくちゃ考えて回答を出してくれてるんですけど、こんな感じのYouTubeのタイトルがいいんじゃないかってことで、ま、10個ぐらいのタイトルをだーっとやって、ま、クリック率がどのぐらいかとかね、理由を含めてこんな感じで、すごくね、もう人間に近いような思考で考えてくれてるということです。はい、ということで最高のタイトル案を3つ作ってくれて終了となります。はい、このように深く思考させるような高度なプロンプト、これの実行能力はGPT-3.5では全然できなかったことはGPT-4Oでできるようになってきてますよということです。はい、続いて2万文字の長文を要約していきたいと思います。こちらはですね、人工知能AIに関するWikipediaに書いてあった解説なんですけど、これね、もう文字が切れちゃってるんですけど、ここにね、2.1万文字のものすごい長い長文があります。この要約をちょっとやっていきたいなと思います。はい、それではいきたいと思います。はい、ということでちょっとこの画面ではこうなっちゃったんですけど、えっと左側のGPT-3.5はできないですね。でね、初期のGPT-3.5なんですけど、えっと大体2000文字から3000文字ぐらいしかえっと入力することができなかったので、ま、そもそもこの2万文字ぐらいのテキストを要約するっていうタスク自体がもう全くできなかったよということです。一方でですね、最新のGPT-4OOは1万6000トークンっていう単位になるんですけど、ま、大体2万文字ちょいぐらいのテキストを入れれるようになっています。なのでこれだけね、長い文章を入れてもこんな感じで要約ができるようになっていますので、例えば会議の内容を議事録で要約したりとか、こんな感じのね、長い文献なんかをさっと要約してまとめたいなんて時に非常にね、実用的になっているんじゃないかなということです。ということで長文を扱う能力も今のChatGPTの方が明らかに優れているよということです。はい、続いて残りの3つは同時にやっていきたいと思います。ChatGPTの応用機能を使った手法になります。例えば今日のニュースを調べるとか、少し難しい計算をするとか、犬の絵を書くってやつですね。これね、全部GPT-3.5というか初期のChatGPTではできないやつでした。えっとなぜかと言うと、ニュースを調べるためには検索機能が必要ですし、少し難しい計算をするためにはコードインタープリターというね、プログラム実行機能が必要だったり、あと犬の絵を書くには画像生成AIが搭載されている必要があります。実はですね、初期のChatGPTはこうした機能が全く搭載されていないので、この7、8、9は全然できなかったんですけど、え、今のChatGPTならこれ楽々実行することが可能になっています。ここはね、サクっと紹介していきたいと思います。はい、それでは行きましょう。「今日のニュースを教えて」と打っていきましょう。はい、そうするとですね、最近ChatGPTにはGPTサーチというね、あの、サーチ機能が搭載されていますので、ま、こんな感じでニュースをね、いくつか調べながら回答してくれるということです。はい、続いて20万2を315で割った余りを答えてもらおうかなと思います。はい、そうすると今分析してますってこやって走るんですけど、これね、後ろで何をしてるかって言うと、こんな感じのPythonっていうね、プログラム言語が動いていて、コードインタープリターというPython実行機能が後ろで動いていますので、これでね、確実に計算をすることができると言うことですね。ChatGPTは電卓ではないので、こういうね、複雑な計算って得意じゃないんですけど、プログラム実行機能とかをね、後ろで使ってあげればこういうものもミスなく実行できるように進化しているということです。はい、そして最後です。「犬の絵を書いて」と言ってみましょう。はい、そうするとね、こんな感じで画像生成ができましたよ、ということです。これも初期のChatGPTにはなくて、現在ChatGPTにはこのDALL·Eっていう画像生成AIが搭載されていますので、こういうね、あの画像生成もできるということです。はい、ということでこのような様々な応用機能を初期はできなかったんですけど、今のChatGPTなら楽々実行できるように進化していますよ、ということでしました。はい、それではまとめていきます。今回はGPT-3.5 VS GPT-4Oということで、ChatGPTの2年間の成長、進化の軌跡を徹底検証していきました。結果はこんな感じになります。まずサザエさんの家族構成を聞くっていうところはGPT-3.5もう出鱈目な回答、ハルシネーションが起きていたのに対してGPT-4OOは完璧な回答ができました。DXを楽しく説明する、ま、これはね、いまいちだったりめちゃくちゃな文章になってしまいがちだったんですけど、もうね、人間超の想像性、表現力を持った文章を出すことができるようになっています。3つ目、文字起こしした文章を構成するっていうところは、ま、いまいちで、ま、大体40点から70点ぐらいの制度だったんですけど、ま、ほぼ完璧な制度でできる様に進化をしております。麺を食べた人を当てるっていうね、文章の抽出、判定問題に関してはGPT-3.5はもうほぼ0%で正当できないのに対してGPT-4Oはもうほぼ100%で正当ができるという風に進化しています。深く思考して回答する、Tree of ThoughtsというプロンプトはGPT-3.5は全然動かないのに対してGPT-4Oはもう人間レベルに思考をしてくれるということです。6番、2万文字の長文を要約するっていうのはGPT-3.5の時は全然ね、文字数が打てなかったのでこれはできなかったんですけど、現在のChatGPTは2万文字声もようやく可能となっております。そして今日のニュースを調べる、少し難しい計算をする、そして犬の絵を書くはそれぞれ検索機能、コードインタープリター機能、画像生成DALL·Eという機能、この3つの機能によってそれぞれ実行が可能に進化しているということです。はい、いかがでしょうかね？こちらの表を見ていただいて分かるとおり、2年間の進化でもうできることの幅がもうめちゃくちゃ広がったってことを感じていただけたんじゃないかなと思います。で、繰り返しになりますが、AIの性能が向上することはもう極めて大きなインパクトがありますので、皆さんも今後GPT-5とか6って出てくるかもしれないんですけど、今後のAIの進化にもますます注目していただきたいなと思います。一緒にですね、このAIの進化を楽しんでいければと思っております。はい、ということで今回はChatGPT誕生2周年を記念して初期のGPT-3.5と4oを対決していきました。はい、これから数年後どうなるか楽しみですけど、このAIの世界本当に進化が激しいのですので、引き続き追っていきたいなと思います。それでは今回は以上です。ありがとうございました。