成功へのベクトル検索 洗練された LLM の開発における RAG の役割を探る。
2022 年以前は、お気に入りの本の特定の一節や、鑑賞したばかりの映画の引用を、作品そのものが目の前になくてもすぐに思い出したい場合、おそらく検索エンジンに頼っていたでしょう。よく練られた検索入力でエンジンにプロンプトし、返された結果を解析し、答えが含まれていると思われる SparkNotes または IMDB リンクにアクセスし、数分以内にページ上で探しているテキストを見つけます。今では、ChatGPT を開いて「最も有名なターミネーターの引用は何ですか」または「二都物語の冒頭の一節を書きなさい」と入力するだけで、数秒で逐語的な答えが返されます。 大規模言語モデル (LLM) の最もシンプルな用途の 1 つは、知識のデータベースとしての使用です。LLM は豊富な情報の膨大なデータセットでトレーニングされており、ChatGPT などのインターフェースによって簡単に取得できます。たとえば、ChatGPT に映画や本のコンテンツを返すように指示すると、トレーニング中にモデルがさらされた情報を思い出すというモデルの能力を活用しているだけです。しかし、ターミネーター スクリプトでトレ...
成功へのベクトル検索 洗練された LLM の開発における RAG の役割を探る。
2022 年以前は、お気に入りの本の特定の一節や、鑑賞したばかりの映画の引用を、作品そのものが目の前になくてもすぐに思い出したい場合、おそらく検索エンジンに頼っていたでしょう。よく練られた検索入力でエンジンにプロンプトし、返された結果を解析し、答えが含まれていると思われる SparkNotes または IMDB リンクにアクセスし、数分以内にページ上で探しているテキストを見つけます。今では、ChatGPT を開いて「最も有名なターミネーターの引用は何ですか」または「二都物語の冒頭の一節を書きなさい」と入力するだけで、数秒で逐語的な答えが返されます。 大規模言語モデル (LLM) の最もシンプルな用途の 1 つは、知識のデータベースとしての使用です。LLM は豊富な情報の膨大なデータセットでトレーニングされており、ChatGPT などのインターフェースによって簡単に取得できます。たとえば、ChatGPT に映画や本のコンテンツを返すように指示すると、トレーニング中にモデルがさらされた情報を思い出すというモデルの能力を活用しているだけです。しかし、ターミネーター スクリプトでトレ...
