OpenAI の 2024 年 5 月初旬の ChatGPT アップデートは大規模なもので、世界をリードする生成 AI チャットボットに大量の新機能をもたらしました。改善点のほとんどは、ユーザー インタラクションの強化、新機能、全体的なパフォーマンスの向上を中心としたもので、試してみるべき理由はたくさんあります。

画像の入力および出力機能

ChatGPT は、入力として画像を取得し、出力として画像を生成できるようになりました。新しい画像入力機能により、ユーザーは ChatGPT を使用したチャット対話に画像を直接アップロードできるようになります。この機能により、ユーザーがヘルプを求めたり情報を共有したりする方法が拡張され、ビジュアル コンテンツについてシームレスにディスカッションできるようになります。

この例では、冷蔵庫にあるアイテムのレシピを ChatGPT に依頼しました。

冷蔵庫内のアイテムを識別し、識別された材料を使用して作成できるレシピを提供するという点で、かなり正確な結果が得られました。

画像を入力として取得する以外に、ChatGPT はインタラクション内で DALL-E 画像を生成することもできます。

ChatGPT に MakeUseOf がロボットだったらどうなるかを尋ねました。

ご覧のとおり、ChatGPT は画像とその説明を提供することで、いくつかの有望な結果を提供します。ただし、WebP 以外に画像を保存する方法がないため、画像を JPG または PNG で保存するにはサードパーティのソリューションを使用する必要があるようです。

ChatGPT Plus ユーザーは、OpenAI の新しい ChatGPT-4o (オムニモーダル) モデルを使用して、新機能にすぐにアクセスできるようになりました。無料利用枠のユーザーもこれらの機能にアクセスできますが、使用量は制限されています。

ナレッジ ベースとクロスチャット メモリの拡張

ChatGPT のアップグレードされた Web ブラウジング機能により、Web から最新の情報をより正確に取得できるようになります。これにより、利用可能な最新のデータと洞察に基づいた対応が保証されるため、ニュース、テクノロジー、市場トレンドなどの急速に進化するトピックにとって特に価値があります。

Web ブラウジング機能に加えて、ChatGPT のメモリ機能が一般提供されるようになりました。メモリ機能により、ChatGPT はユーザーの設定、過去のやり取り、進行中のプロジェクトに関する詳細を保持し、よりパーソナライズされた一貫したユーザー エクスペリエンスを提供します。これは、ChatGPT がお気に入りのトピックを記憶し、ニーズに合わせて応答を調整し、長期的なプロジェクトや進行中の会話を追跡できることを意味します。

私は ChatGPT に土曜日の天気予報を確認し、最新の天気予報に基づいてアクティビティのスケジュールを変更する必要があるかどうかアドバイスするように依頼しました。

ChatGPT は、Web を閲覧して天気を調べたり、私のスケジュールの記憶を確認したりすることで、適切なアドバイスを提供してくれました。 ChatGPT との過去のやり取りに基づいて、代わりに実行できるアクティビティのリストも表示されました。

ブラウジング機能機能は Plus 層と Free 層の両方のユーザーが利用できるようになりましたが、ChatGPT メモリは Plus ユーザーのみが利用できます。

マルチモーダル音声およびビデオ インタラクション

誰もが ChatGPT のモダリティをさらに知りたいと考えていました。新しい ChatGPT-4o モデルは、マルチモーダルな音声およびビデオの対話へのアクセスを提供し、ユーザーが人間のアシスタントとビデオ通話を行うのと同じように、ChatGPT を使用して音声およびビデオの継続的な会話に参加できるようにします。 ChatGPT-4o の会話サポート、ビデオ機能、人間のような音声と感情により、この新機能は他の音声アシスタントとは異なります。

ビデオの中で、ChatGPT はホストと会話し、さまざまなレベルの感情を示しました。さらに、ホストは会話の途中で ChatGPT を中断することもでき、ほとんど遅延なくリアルタイムの会話が可能になりました。

この機能を ChatGPT のブラウジングおよびメモリ機能と組み合わせることで、非常に汎用性の高い AI コンパニオンが可能になります。 ChatGPT のこの拡張バージョンは、ショッピング、計画、整理をより適切に支援できるようになりました。 GPT-4o の会話機能により、ChatGPT を音声コマンドを使用したハンズフリー アシスタントとして使用できるようになり、外出中やマルチタスク中に AI と簡単に対話できるようになります。

GPT-4o の音声対話は、ChatGPT Android/iOS アプリを使用するすべてのユーザーが利用できます。ただし、ビデオ インタラクション機能はこの記事の執筆時点では利用できませんが、近い将来展開される予定です。

アップグレードされたコード分析

以前の ChatGPT コード インタープリターは、Advanced Data Analysis (ADA) と呼ばれるようになりました。すでにベータ版が終了し、ChatGPT プラグインは利用できなくなったため、ADA は ChatGPT-4 と ChatGPT-4o の両方に統合された機能となり、Free 層と Plus 層の両方のユーザーがこの機能を利用できるようになりました。プラグインやアクティベーションは必要ありません。 ChatGPT にコードの実行、分析、または作成を促すだけで、残りの作業は ChatGPT が自動的に実行します。

ここでは、電子商取引プロジェクトのデータベースを含む SQL ファイルを ChatGPT-4o に与え、よく注文される上位の商品を分析してグラフ化するように依頼しました。

ChatGPT-4o で ADA を使用して実行する前に数値をすでに知っていたため、提供されたグラフが正確であることがわかりました。ただし、ChatGPT-4 で実行すると、エラーが発生し続け、速度が遅く、実際にはグラフが表示されませんでした。したがって、ADA は古いコード インタプリタと機能的には変わりませんが、ChatGPT-4o 上で ADA を直接実行するほうが確実に簡単、高速、スマートです。

OpenAI のデモンストレーションでは、音声コマンドを使用したライブ コード デバッグも示されました。これは、ChatGPT のもう 1 つの大きなアップグレードです。コマンドを入力して少しずつ作業する代わりに、コードを実際に操作することでプロセスを高速化できます。

一時チャット

ChatGPT-4o の新しい一時チャット機能は、プライバシーを重視するユーザーや ChatGPT との迅速なやり取りを求めるユーザーに最適です。この機能により、ユーザーは、会話が履歴に保存されたり、OpenAI がモデルのトレーニングに使用したりすることなく、ChatGPT を使用して一時的なチャットに参加できるようになります。

一時チャットは、Plus 層と Free 層の両方のユーザーが利用できます。 [一時チャット] オプションを選択すると、モデルのドロップダウン メニューからアクセスできます。アクティブ化すると、プライベートで非永続的なチャット エクスペリエンスを楽しむことができるようになります。

ChatGPT の最新の更新では、対話性の強化やデータ分析から、リアルタイムの情報アクセスやパーソナライズされたエクスペリエンスに至るまで、幅広いユーザー ニーズに対応する多数の機能が導入されています。専門家、学生、または一般ユーザーのいずれであっても、これらの機能は ChatGPT を活用して生産性、学習、日常の利便性を向上させるための強力な新しい方法を提供します。