複数部門で共用するAIのコストを部門別に分離する — Amazon Bedrockの推論プロファイルでチャージバックを実現する方法
DRANK

8月14日、AWSが「Track generative AI costs with Amazon Bedrock inference profiles」と題した記事を公開した。Amazon Bedrockの推論プロファイル(inference profile)を使って複数部門の生成AIコストを部門別に可視化・管理する方法について詳しく紹介されている。「同じモデルを複数部門が使っているのに請求書には1行しか現れない」という構造的な問題を、アプリ側の変更を最小限に抑えながら解決する手法だ。課題:同一モデルを複数部門で共用するとコストが「ひとまとめ」になるHR部門がポリシー確認に使い、経理部門が財務書類の分析に使い、IT部門がインフラのトラブルシューティングに使う。同じ基盤モデルを3部門が共用しているのに、AWS請求書には1行しか現れない。これでは部門ごとのチャージバック(コスト配賦)も予算管理もできない。この問題を解決するのが Amazon Bedrock アプリケーション推論プロファイル だ。推論プロファイルは、基盤モデルにタグを付けたラッパーとして機能する。これを部門ごとに作成し、AW...

by @tf_official
Related Topics: Amazon Web Services AI