OllamaとCloudflare TunnelでColabにプライベートLLMチャット環境を作りました。
ChatGPTやClaudeのようなLLMサービスは便利ですが、業務上の機密情報や個人的な内容を入力するのには少し気が引ける場面があります。また最近は次々と新しいローカルLLMのモデルが登場していて、気軽に試してみたい気持ちもある。かといって、ローカルにGPUを用意してOllamaを動かすのも、環境構築の手間やハードウェアコストの面でハードルが高い。
ChatGPTやClaudeのようなLLMサービスは便利ですが、業務上の機密情報や個人的な内容を入力するのには少し気が引ける場面があります。また最近は次々と新しいローカルLLMのモデルが登場していて、気軽に試してみたい気持ちもある。かといって、ローカルにGPUを用意してOllamaを動かすのも、環境構築の手間やハードウェアコストの面でハードルが高い。