こんにちは、SREグループの水口です。
スタディプラスでは2023年末頃から生成AIの活用を始めています。しかし、無料版ChatGPTはプロンプトがモデルの学習に使われる課題があり、有料版は一括契約のハードルが高いため、なかなか活用が進みませんでした。
ただ、弊社でも生成AIを活用できないか検討されていたこともあり、何かしらの形でスタディプラスのメンバーが生成AIに慣れ親しむ必要がありました。
これらの課題を解決するため、社内で安全に利用できる生成AIチャットサービスの構築に取り組みました。*1
解決策の概要
弊社で採用したのは、OpenAIやAnthropicのAPIを叩くWebサービスを社内環境で動作させる方法です。これにより、以下のメリットが得られました。
- 従量課金となるため、希望者が少量の利用であってもトライアルとして活用しやすい
- 無料版のChatGPTと異なり、APIへのリクエストはモデルの学習に利用されない
最初期 (Better ChatGPT)
最初期はAWS AmplifyにBetter ChatGPTをホスティングして、ベーシック認証をかけて少人数で生成AIチャットのお試しをしていました。GPT-4oなどすぐ活用できたのは良かったのですが、過去のプロンプトを参照できなかったり、GPT-4o対応の後はOSSの更新が止まってしまったこともあり、現在は利用しておりません。
現在の実装の詳細
使用した技術スタック
- LLM: OpenAI API / Anthropic API
- チャットインターフェース: LibreChat
- インフラ: Amazon EC2
LibreChat選定理由
- MITライセンスのOSSで商用利用が可能
- docker composeで起動するためのファイル等が用意されている
- GoogleアカウントでのSSOを設定することが簡単
- 画像、PDF読み込みのニーズがあったので、Better ChatGPTにできないことができた
社内メンバーに使ってもらうための工夫
利用者が参加するSlackチャンネルの作成
部署を問わず利用してもらうため、先行してLibreChatを活用している人が活用方法の情報交換をしたり、世間的な生成AIのニュースなどの会話を行えるようなSlackチャンネルを作成しました。構築した私や運用に関わっているメンバーだけでなく、社内のメンバーが多く入っており、日常的な業務改善ができないか活発に会話が行われていました。私が知らないところで「このチャンネルに入るといいよ」という会話も生まれていたようでよかったです。
情報発信・ドキュメントを整備
Slackチャンネルでの会話に加えて、よく活用しているメンバーが自身の利用方法を公開したり、LibreChatの利用方法について分かりやすいドキュメントを用意することで、Googleアカウントを持っている社員であれば簡単に利用できる状態にしました。
導入効果
LibreChat構築後、以下のような効果が得られました。
- 部署問わず業務効率化に活用できている
- LibreChatの案内とともにChatGPT無料版の利用を避ける案内がやりやすくなった
- LibreChatを利用している人数からするとChatGPT Teamを利用するより運用コストが安い
今後の展望
社内で活用できる生成AIチャットを弊社のメンバーが実際に触れることで、生成AIチャットを会社業務に活用する文化が生まれてきたと実感しております。また、開発チームではCursorやDevinといった生成AIを活用した開発支援を行う製品の利用も始めており、実際のサービスにどのように活かすのかを調査・実装をしているR&Dの動きもあります。
まだ会社で生成AIを活用できていない課題感がある方は、お試しで社内用のチャットサービスを構築して使ってもらうという選択肢を検討してみてください。
*1:私が当時有償版ChatGPTにしかない高性能モデルを使いたいというモチベーションがあり、提案したという個人的なモチベーションもありました
