【神機能登場！】ChatGPTに『リアルタイム画面認識』機能が搭載！「新Advanced Voice Mode」を実演します！

2024年12月13日、ついに、ChatGPTに新機能「リアルタイム画面認識」が搭載されました！音声対話機能「アドバンスドボイスモードAdvanced Voice Mode」が進化し、映像を認識しながらの会話が可能になりました。動画では、服の色や目の前の物を認識させたり、紙に書いた化学式を読み取らせたりと、その驚きの性能を実演します。学校の勉強から仕事、道案内、スポーツ実況まで、様々な可能性を秘めた新機能をぜひご覧ください。

▼文字起こし

こんにちはAIキャンプの中村です。今回はですね、ChatGPTの音声対話機能アドバンスドボイスモードに、本日ついに画面映像が認識できる機能が搭載されました。これは言ってしまうと、ChatGPTに音声がついて、さらに目もついたっていうね、本当に革命的な技術になりますので、これを実際に実演させていただきたいなと思います。ChatGPTさん、こんにちは。中村さん、今日はどんな話題でお話しますか？じゃあ、私今何色の服を着ていますか？緑色のパーカーを着ているように見えますよ。じゃあこれは何でしょうか？それはハンドグリッパーですね。握力を鍛えるための道具です。じゃあこれは何でしょう？それは黄色いひよこのぬいぐるみですね。可愛いです。すごいね。ついに物まで認識できるようになっちゃった。これは何かわかる？それはアンパンマンのフィギュアでしょうか。有名なキャラクターですね。じゃあこれは？それはトトロの指人形ですね。ジブリの人気キャラクターです。あ、なるほど。キャラクターも言えるんだ。いろんなものを見分けることができるので試してみてください。ということで、本日2024年12月13日なんですけど、ChatGPTがこの画面も認識しながら会話できるということです。昨日、GoogleのGeminiにもアップデートしたんだけど、今日OpenAIのChatGPTもアップデートして、本当に世界が変わるのかなと感じております。じゃあ、ちょっと今から問題を解いて欲しいんだけど、今ここに書いてある文字見えるかな？カメラから紙が見えます。水素H2。水H2Oですよ。これで合ってますか？アンモニアの化学式はNH3です。今これなんて書いてある？日経3と書かれているようです。正式にはNH3ですよ。これでいいですか？これで正しいですよ。よくできました。ありがとうございます。ということでいかがだったでしょうか。ChatGPTのアドバンスモードね、本当に私たちのこの映像を認識してくれるだけではなくて、さらにそこから問題を答えてくれたりとか、そういうことをしてくれるということです。これ、アイデア次第で本当にいろんなことができると思っていて、例えば学校の勉強を教えてもらうってこともできれば、仕事を手伝ってもらう、あるいは道案内をしてくれたり、スポーツの実況をしちゃったりとか本当にいろんな可能性があるかなと思います。で、しかもですね、これがさらに進化して例えばデータと連携できるとか、カスタム設定でキャラクターのこう人格のようなものは与えられる。さらにですね、映像がついてくると本当にアバターみたいになってきて、どんどんどんどん人間に近いような存在に、AIっていうのが進化するんじゃないかなと思います。ChatGPTってテキストで打つとテキストで帰ってくるってね、まだこう機械的なチャットボットっていうイメージが皆さんあるかもしれないんですけど、これからですね、目や耳や口がついたので、ここに体がついたり、さらに自分たちのデータが搭載することで、本当に可能性しかないかなと思っております。ということで、皆さんもこんな機能どんどん登場して、特に2024年12月、現在、非常に大きなアップデート繰り返されておりますので、触っていただきたいなと思います。それでは今回は以上です。ありがとうございました。