Together AIは、オープンに公開されたモデルを、API経由または専用のインスタンスで動かせるサービスです。1か月、社内チャットのバックエンド候補として検証しました。大手のAPIより安く、自前でGPUを持つより楽という中間に位置します。
速度と単価のバランス
推論の速さは用途に十分な水準で、単価は用途によって桁が変わる大手APIより抑えられます。大量に呼ぶ処理ほど差が出るため、要約や分類のような地味な処理に向きます。モデルの選択肢が多く、用途ごとに切り替えられるのも利点です。
選ぶ側の責任が増える
どのモデルを使うか、どれくらいの精度が必要かを自分で決めます。「とりあえず一番賢いもの」では費用が膨らむので、評価の仕組みを先に作る必要がありました。ここはマネージドサービスに任せたほうが楽な部分です。
データの扱い
入力が学習に使われない設定が用意されているのは、業務利用の判断材料になります。契約形態によって条件が変わるため、規約の確認は必須。ここを曖昧にしたまま進めると、後から説明できなくなります。
まとめ
モデルを選ぶ自由と引き換えに、評価と運用の手間を引き受ける形です。その手間を厭わない技術チームにとっては、費用を抑えつつ柔軟に組める選択肢になります。
メールマガジン
最新のAI情報をメールで受け取る
新着のAIツール比較・ランキング・ニュースを、まとめてお届けします。
ご登録後、確認メールをお送りします。配信停止はいつでも可能です。