【世界初!?】『画面認識』ができる最新AIとマインクラフトをプレイしてみた【Google Gemini】
きたきたきた！！！！！これだよこれ！これがずっっっとやりたかったんだ！！Googleの最新AI機能「Gemini 2.0 Flash」の「Stream Realtime」を使うことで、AIに『画面認識』させながら一緒にゲームのプレイができました！動画はゲーム「マインクラフト」をしている様子。（多分）世界初プレイです。感動して涙出てきた。。。「AIと一緒に仕事やゲームをする時代が来るぞ」って何度も何度も伝えてきましたが、ついに来ました。ゲームだけじゃなく、仕事など、パソコン作業は何だって一緒にできます。今日、世界が変わりました。Thank you Gemini.
▼文字起こし
あなたの画面には左側にMinecraftのゲーム画面、右側にGoogle AI Studioのウェブサイトが表示されています。あなたは空を飛んでいて、周りの景色をお見渡しているのが見えます。キャラクターがいるよ。あいつは何だろう？見える限り羊のキャラクターがいるです。もう少し右に向かう必要があるかもしれません。これでいいですか？はい、もう少し右に向かって進むとXマークに近づくはずです。これからはAIが一緒にこう画面を見てくれながら、一緒にプレイをしたり、何か仕事をしたりとか、本当にそういう世界になってくのかなと思います。こんにちはAIキャンプの中村です。今回ついにAIと一緒にMinecraftプレイできるっていう風になりましたので、今回紹介させていただきたいなと思います。本日、2024年12月12日、GoogleのGeminiというAIにGemini2.0という新しいモデルが出ました。なんとこのAIが画面を認識しながら会話ができるというモデルになっています。以前のこちらの動画でChatGPTと喋りながらゲームをするっていうことをさせていただいたんですけど、その時はまだ画面の認識はできなかったんですよね。ということで今回ついに画面認識ができるようになりましたので、これを紹介させていただきたいと思います。これはもうゲームだけじゃなくてもう仕事も一緒にやるっていうね、そういう時代がついにやってきましたので、今回皆さんにこの威力を感じていただきたいと思います。私もまだ初めてなのでちょっとドキドキしながらやっておりますのでよろしくお願いします。こちらがですね、GoogleのGeminiを触ることができるGoogle AI Studioというツールになります。で、ここから左上にある「stamリアルタイム」というこちらをクリックしていただくと、リアルタイムに会話とかね画面認識をしてくれるようなモデルになっています。今回新しくGemini2.0フラッシュというものをね使用していきたいと思います。はい、それでこの状態でGeminiと話したりすることができるんですけど、今回この画面共有というものを押してみたいと思います。そうするとこの画面を認識してくれますので、これで会話をしていきたいなと思います。こんにちは。それでは日本語で会話してくれますか？今私の画面どうなってますか？はい、日本語で会話できます。あなたの画面には左側にMinecraftのゲーム画面、右側にGoogle AI Studioのウェブサイトが表示されています。何かご質問はありますか？はい、じゃあ今からと一緒にMinecraftをプレイしてくれますか？分かりました。今からMinecraftのゲームについて会話をしましょうか。そうしたらちょっと私初心者なんですけど、まず何をしたらいいですか？Minecraftを始めたばかりなのですね。まず木を伐採して木材を集めるのがお勧めです。あ、なんだこの赤いのって何？赤い部分は岩ですね。触れるとダメージを受けてしまうので気をつけてください。はい、分かりました。この白い木は何ていうのかな？その白い木は白樺ですね。白樺の木材も他の木材と同様にクラフトに使用できますよ。はい、ありがとうございます。今私何やったか分かりますか？はい、ゲームモードをクリエイティブモードに変更しましたね。今僕の画面に何が見えていますか？はい、クリエイティブモードに変更したことで、あなたは空を飛んでいて、周りの景色をお見渡しているのが見え、目の前になんかキャラクターがいるよ。あいつは何だろう？見える限り羊のキャラクターがいるです。羊はどうすればいいの？羊からウールを手に入れることができます。どうやってウールを手に入れるの？羊を倒すとウールをドロップします。でもなんか倒すのはちょっとやだな。かわいそう。他の方法ないの？羊をハサミで刈るとウールをドロップさせることができます。はい、僕は今何しましたか？あなたは白い羊を刈ったようです。なんか花畑が見えるんだけど。花見える？何がある？花畑にはたくさんの花があります。様々な花がありますね。黄色いタンポポ、赤いポピー、白いデイジー、青い忘れ草などが見えます。お、海が見えるんだけど、海は何をしたらいいんだろう？海で釣りをすることもできますし、海を探索することもできます。こいつ何？これ何が映ってますか？今遺跡の中の構造物のようです。この白く光ってるのなんだろう？それは海のランタンですね。なんか箱があるよ。これは？それは宝箱です。何何？宝の地図があるんだけど、これどうしたらいいの？宝の地図を使うと宝の場所が分かるかもしれません。お、なんか地図が出てきたよ。じゃあこれはどこに行けばいいんだろう？地図を見るとXマークの場所はあなたがいる場所から見て北西の方向にあるようです。じゃあ僕が今向かってる方向は正しいですか？地図上の白いマーカーはあなたが現在向いている方向を示しています。僕が今進んでいるのは方向的に合ってますか？もう少し右に向かう必要があるかもしれません。あ、もう少し右。じゃあこんな感じかな？こんな感じ？はい、これでいいですか？はい、もう少し右に向かって進むとXマークに近づくはずです。もう少し右。じゃあこのぐらいでいいですか？はい、そのくらいで良いと思います。あれでもつかないよ？道合ってる？これ？はい、その調子で進んでください。あー、なるほど。ちょっとね、いい感じなんだけど微妙に認識できてないのもありますね。はい、じゃあ、宝のある場所に来たんですけど、これどうすればいいのかな？地図を見つけて目的地に到着したんですね。次は宝物を探すために砂を掘ってみるのが良いでしょう。その島の真ん中あたりをお探してみると良いかもしれません。やった！宝箱見つけたよ。良かったですね。その宝箱には何が入っていましたか？太陽の心とか、あと鉄とかTNTとか、ダイヤモンドとかね色々入ってたよ。色々なアイテムが見つかったみたいですね。おめでとうございます。TNTは何に使うの？TNTは爆発させて周囲のブロックを破壊するのに使います。じゃあ設置したのでこれスイッチ押していいですか？はい、スイッチを押して大丈夫です。はい、ありがとうございました。どういたしまして。また何かあればいつでも聞いてください。はいということで今回は、Googleの最新のAIと一緒にMinecraftのゲームプレイしてみました。すごいですよね、この左側の画面を認識してくれながら一緒にプレイができるということです。これからはAIが一緒にこう画面を見てくれながら、一緒にプレイをしたり、何か仕事をしたりとか、本当にそういう世界になってくのかなと思います。今回Minecraftで紹介してますけど、もう少し真面目にやると、例えばWordの資料を一緒に作るとかね、ページを一緒に検索するとか、いろんな作業がAIと一緒にできますので、皆さんも色々試していただけるといいかなと思います。はい、それでは今回AIと一緒にゲームMinecraftをやってみるということでプレイさせていただきました。こんな感じでね、どんどん楽しいAIの使い方紹介していきますので、また今後ともよろしくお願いします。はい、今回は以上です。ありがとうございました。
