メインコンテンツまでスキップ

Ollama Colab Private Chat にWeb検索RAG機能を追加しました

· 約3分
hiroaki
hiroaki
Individual Developer
当サイトがお役に立ったら ⭐️ の応援お願いします🙏
Star on GitHub

Ollama Colab Private Chat にWeb検索RAG機能を追加しました。チャットUIに追加した「🔍 Web検索」トグルをオンにするだけで、DuckDuckGoの検索結果をコンテキストに加えてLLMへ送信できます。

追加した機能​

Web検索トグル

Inline・Standaloneどちらのチャット画面にも「🔍 Web検索」トグルボタンを追加しました。オフ（デフォルト）のままでは従来通り動作し、オンにした場合のみ検索が実行されます。

LLMによるクエリ最適化

ユーザーの入力をそのまま検索に使うのではなく、ローカルLLMが入力文から検索エンジン向けの短いキーワードを自動で抽出してから検索します。自然な文章で質問しても、検索精度が落ちにくい設計です。

検索結果のソース表示

LLMの回答の下に、参照した検索結果のタイトルとリンクを出典リストとして表示します。回答の根拠をその場で確認できます。

TTLキャッシュ

同じクエリに対する検索結果は5分間キャッシュされます。繰り返し質問してもDuckDuckGoへのリクエスト数を抑えられます。

Web検索の設定パラメーター​

Server セルの上部に、以下のパラメーターを追加しました。Colabのフォームから変更できます。

パラメーター説明デフォルト
SEARCH_MAX_RESULTS取得する検索結果の最大件数5
SEARCH_BODY_LENGTH各検索結果から切り出す本文の最大文字数300
SEARCH_TIME_LIMIT検索対象の期間フィルター制限なし
SEARCH_REGION検索対象の地域・言語日本語

その他の変更​

  • num_ctx のデフォルト値を 4096 から 8192 に変更しました。RAGで検索結果をコンテキストに追加するため、より長いコンテキスト長をデフォルトにしています。
  • Model Registry と Server、Chat UI — Standalone の各セルを折り畳み表示（collapsed）に変更し、ノートブックの見通しを改善しました。
  • Inline モードのストリーミング処理とTunnelモードの接続まわりを整理・簡略化しました。

使い始める​

環境構築は不要です。以下のColabリンクを開き、セルを上から順に実行してください。

フィードバックやPull Requestはいずれも歓迎します。

当サイトがお役に立ったら ⭐️ の応援お願いします🙏
Star on GitHub