NotebookLMにソースを複数読み込ませたり、1つのデータが莫大だったりすると、ソースの一部だけを参照して回答してしまうことがあるように見受けられます。
ソースの全てを参照した上で回答してもらうようにするためにされている工夫などはありますか?
NotebookLMのソース参照には、RAG(Retrieval-Augmented Generation)という技術が使われていますが、このRAGの特性上、全文を丸っとAIに読ませるのは難しいはずです
めちゃくちゃざっくりとRAGの仕組みを説明すると
1.ソースに追加された文章を数値(ベクトル情報)に変換して、ベクトルデータベースに格納する
2.ユーザーの質問もベクトル情報に変換する
3.(2)と(1)を数学的に比較して、関連性が高いソースを、ある程度のひとまとまり(チャンク)で抽出する
4.抽出したいくつかのチャンク情報をLLM(Geminiなど)に添付して、回答を生成する
という感じです。
なので、そもそもが、ソースの中から関連しそうなものをピックアップして回答する仕組みになっているので、全文検索のような使い方が難しいわけです。
AI(LLM)に添付できる情報量(コンテキストウィンドウ)には限りがあるため、全文を添付するとすぐ情報がパンクしちゃうんです…それを解決する仕組みのひとして、上述のRAGという仕組みがある感じです。
回答精度を上げる対策としては、
・なるべくAIのコンテキストウィンドウに収まる範囲で情報を直接添付する
・ノイズになるような不要な情報はソースから消しておく
・NotebookLM以外のRAG対応ツールを使ってみる(Difyとかで簡単にできたります)
とかになるかなと思います。。
他にも、Graph RAGを使うとか、チャンクサイズを最適化するとか、ベクトル検索と全文検索をハイブリッドで使うとか・・・RAGは奥が深いので、一度調べてみると楽しいかもしれません!
私もよくわかってません!間違ってたらすいません!参考程度に
コメントするにはログインが必要です。