Sun Sep 15 2024
Strawberry (OpenAI01) が強化学習を利用し、自身で複数ステップを考えることでGPUの使用量を減らすという話があります。これは半分正しく、半分間違っています。確かに、StrawberryはGPT-4と比べて訓練において少ないGPUを使用するかもしれませんが、その主な理由は、Strawberryが一般的なツールではないからです。Strawberryはマルチモーダル(例えば簡単な画像/動画生成)に焦点を当てず、推理タスク(=推論)を中心により正確かつ複雑な答え出すのに集中します。 したがって、Strawberryの使用が増えると、Nvidiaも確認しているように、推論の大量需要が生まれるでしょう。したがって、訓練だけに注目すると、Strawberryは少ないGPUを使用する可能性がありますが、それはインフラストラクチャ業界にとってそれほど大きな意味を持たないでしょう。 なぜなら、 1. Strawberryの出現は、同じユーザーに対してGPT4と競争するのではなく、ユーザーを拡大するのに役立つでしょう。 2. 訓練と推論を組み合わせると、Strawberryは実際にはユーザーの数によってはより多くのハードウェアを消費するかもしれません。 NvidiaのPMも同じ方向の結論を出ました。https://www.linkedin.com/posts/drjimfan_openai-strawberry-o1-is-out-we-are-finally-activity-7240045907814051840-YjVF
今週はこの辺で。お茶の時間です!