■ GPT-3モデルの価格体系は提供する使用量によって’エクスプローラ(Explore)’、’クリエイト(Create)’、’ビルド(Build)’、’スケール(Scale)’など4つに分けられる。
OpenAIの大規模な自然言語処理(NLP)モデルのGPT-3は公開以降、開発者、研究員、企業家やジャーナリストの間で最大のISSUEだ。 さらに、マシンラーニングとはかけ離れた一般の人たちまでGPT-3について話するほどだ。 こうした殆どは、問題はAI駆動テキスト生成器の能力に焦点を合わせている。 使用者たちはAIを使用して記事作成でコードを作成する直観的な能力まで全てを生成するため、興味深い結果を競争的に出している。
しかし、一部の反論の中にGPT-3についたことは依然として多く不明確である。 ただ、人工知能のほうがより高く、果敢な目標を現実的に持つようになったというのがGPT-3の最も大きな意味で見えてくる。
もう全ての問題の中に世界で最も大きな自然言語処理モデルGPT-3は、来月から有料化されている。 OpenAIは、設立理念とは違い、このモデルを大衆に自由に公開する代わりに、商用化を選択したのだ。
この価格策定計画はOpenAIがGPT-3を収益性のある事業に転換するのに必要なものと使用者がこのAIからどんな種類の組織が恩恵を受けられるかをもっとよく評価できるようにしてくれるだろう。 GPT-3は、このような種類の最初のAIモデルであり、OpenAIの最も大きな悩みは、この巨大な深い学習アルゴリズムを運営するのにかかる隠された莫大な費用についてどう解決すべきかが核心であるものとみられる。
OpenAIと同じAI研究所は彼らの研究に資金を誘致に向けて技術会社とVC会社の資金に依存する。 まもなく、これにより、投資収益を創出し、今後の資金を確保できる収益性のあるビジネスを創出しなければならない。
(2019年3月11日、営利化を宣言するオープンAIの公式ブログキャプチャー
2019年3月11日、OpenAIは非営利団体で、営利企業に転換してOpenAIはブログ掲示物を通じて汎用人工知能(AGI、Artificial General Intelligence)技術の一部を商用化すると宣言した。 そしてまもなくマイクロソフトは10億ドルを投資した。
また、OpenAIはGPT-3プラットフォームの前例のないコンピューティング性能が必要となっていた。 マイクロソフトはOpenAIがGPT-3を過ぎた6月に発売する前に5月OpenAIとの持続的なパートナーシップを拡大して世界上位5代のスーパーコンピュータの一つを構築してエジョ(Azure)で、新しいインフラを使用して超大型自然言語処理(NLP)モデルGPT-3を学習するため、オーダーメード型で設計されたエジョ(Azure)ホスティングホームを発表していた。
OpenAIがマイクロソフトに独占ライセンス付与をこれに”連携された関係だ”と、必ず裏、言うことはできないが、この22日、マイクロソフトは恒例の’イグナイト2020(MICROSOFT IGNITE 2020)’でOpenAIとの協約で独占ライセンス確保したと発表してこれを活用してマイクロソフトお客様に一歩前進したAIソリューションを提供するという計画を発表した。
再びGPT-3の料金制で振り返る。 この6月発表と同時にOpenAIはGPT-3アーキテクチャや事前訓練の長いモデルを発売せず、代わりに7月11日に商用APIを通じて提供すると公開してそんなに驚くべきではなかった。 OpenAIが審査して承認したGPT-3ベータ)バージョンを無料で利用できるようにしたが、10月からは使用の価格が策定されたものである。)
既存の非公開無料ベータバージョンの利用者も10月以降に策定された価格体系の4つの中からいずれかを選択しなければならない。 提示されたGPT-3モデルの価格体系は提供する使用量によって’エクスプローラ(Explore)’、’クリエイト(Create)’、’ビルド(Build)’、’スケール(Scale)’など4つに分けられる
‘エクスプローラ’は無料区間だ。 もう使用者はトークン(token)10万個または体験期間3ヶ月のうち先に満了される方向を適用を受ける。 言い換えれば、無料でトークンを最大10万個まで書けて、これを使い切っていない場合、3ヵ月間無料で使えるという意味だ。’クリエイト’は月100ドルに使用者は1ヵ月間、トークン200万個を使うことができ、これを消尽すると、追加トークン1000一個あたり8セントを支払わなければならない。’ビルド’は月400ドルに使用者は1ヵ月間、トークン1000万個を使うことができ、これを消尽すると、追加トークン1000一個あたり6セントを納めればよい。’スケール’は別途価格を策定した。
まず、GPT-3に対する正確な構成と背景について見てみよう。 最終ディプロニンモデルを訓練するのはGPT-3開発のいくつかの段階の一つに過ぎない。 その前にAI開発者たちは、階層と媒介変数を次第に増加させなければならず、彼らが目標に到逹する時まで言語モデルの多くのハイパーパラメータを操作しなければならなかった。 しかし、配列やその試行錯誤は神経網が大きくなるほどますます高くなる。
これに対するOpenAIの正確な研究費は分からない。 しかし、一部の専門家たちの推定によると、最終モデル、学習費容疑1.5~5倍程度という。 これは研究開発費用を1,150万ドルで2,760万ドルの間にGPUのオーバーヘッドを増加させるものとみられる。 また、去る6月OpenAIが発表した論文(参照)でGPT-3は1750億のパラメータとディプロニンの限界まで推進されて、微細調整もなく、自然言語処理のベンチマークで最先端の性能を達成したとし、’GPT-3 small’を含めて8つの言語モデルを発表していた。 このようなモデルを研究して開発する費用はこの計算に含まれなかった。
GPT-3の8つの言語モデル(論文キャプチャー)
相対的に多くの企業、機関は開発者たちに神経網を訓練させる時間と費用を減らすために、事前に訓練されたバージョンのモデルを提供する。 その後モデルをロードして実行することができるサーバーや装置さえあればなるが、これは、当初からモデルを教育することよりコンピューティング集約度がはるかに低い。
しかし、GPT-3の場合、ニューラルネットの純粋に大きいため、それを実行することがとても難しい。 この6月に発表されたOpenAIの上論文によると、GPT-3はパラミトダン16ビットのバンチョンミル浮動小数点の要因(half-precision floating-point variables)を使用する。 つまり、モデルを積載して適切な速度でも推論を実行するだけでも少なくとも350GBのVRAMが必要なことだ。
これを例えるとこれはそれぞれ32GBのメモリーを有した少なくとも11個のテスラV100 GPUに該当する。 GPUは個当たり約9,000ドルだ。 これによってGPUクラスターの費用が少なくとも99,000ドルでRAM、CPU、SSDドライブや電源供給装置の場合、数千ドルまで増加するものだ。 ディプロニントレーニングと推論に特化されたエヌビディアのDGX-1サーバが好きな基準日のだ。 約13万ドルのDGX-1はVRAM(8×16GB)が不足し、GPT-3の堅固な性能を向けた他のすべての構成要素を備えている。
結論的に2018年4月、ニューヨーク・タイムズの報道によると、オープンAIは、設立初年度に計1100万ドルの費用を書いたが、このうち万ドルが職員の給与と福祉の恩恵に出た。 2016年にオープンAIの職員数は52人だった。 現在オープンAIの正確な研究員数は分からないが、これと似たような背景のグーグルディプマインドゥの場合、2018年に700人の職員に、年間4億8300万ドル以上を支払ったという。 オープンAIの今回の料金制は、研究員たちの高い年俸とGPT-3実行コストに起因したものとみられる。
また、OpenAIはますます強くなってパワフルな一連のAI技術を発売している。 これによるAI能力のためにはさらに多くの資金が必要である。 その費用を充当する最も確実な方法は製品を生産し、その見返りを補償を受けるのであり、GPT-3モデルが発売することまで直接・間接的に関連されたマイクロソフトに独占ライセンスを付与することや、この技術の商用化を加速するための最も積極的な方法を選択したものとみえる。 もうOpenAIはAI研究所で少なくとも部分的には代表的なAIソリューション会社になっているのだ。
