Google ColabのGPUでOllamaを動かして、無料のLLMサーバーを立てる。
Claude CodeやContinueなどのコーディングアシスタントを使っていると、「APIのコストが気になる」「コードを外部サービスに送りたくない」という場面が出てきます。また、「ローカルLLMを手軽に試してみたいけど、手元のGPUでは遅くて使い物にならない」という悩みもあります。
Claude CodeやContinueなどのコーディングアシスタントを使っていると、「APIのコストが気になる」「コードを外部サービスに送りたくない」という場面が出てきます。また、「ローカルLLMを手軽に試してみたいけど、手元のGPUでは遅くて使い物にならない」という悩みもあります。
<video
最近、ローカルで動作するLLM(Large Language Model)がかなり充実してきましたよね。