2.8兆パラメータの重みが配られる——中国Moonshotが公開したKimi K3

中国のMoonshot AIが7月16日、「Kimi K3」を公開しました。総パラメータ2.8兆。重みを誰でもダウンロードできる形で出すモデルとしては、これまでで最大です。

パラメータ数の大きさそのものより、面白いのは「その規模のものが配られる」という点のほうです。1兆パラメータ級のモデルはすでにいくつも存在しますが、その多くは会社のサーバーの中にあって、APIごしにしか触れません。K3は7月27日までに全部の重みを公開する、とされています。

オープンウェイトの意味

「オープンウェイト」は、モデルの中身にあたる数値の集まり（重み＝ウェイト）を配布する、という意味です。学習に使ったデータや訓練コードまでは公開しないことが多いので、「オープンソース」と呼ぶには足りない、と区別して呼ばれます。

それでも重みが手元にあるかどうかで、できることはかなり変わります。自分のサーバーで動かせるので、社外にデータを出せない業務でも使えます。特定の分野向けに追加学習して作り変えることもできます。提供元がサービスを止めたり、値上げしたり、モデルを差し替えたりしても、手元のものは動き続けます。研究者にとっては、中身を測って調べられる対象が増える、という意味もあります。

これまで、その「配られる側」に来るのはトップより一段下のモデルでした。K3が注目されているのは、フロンティア級と呼ばれる最上位グループに近いものが、はじめてその側に来ようとしているからです。

2.8兆パラメータを動かす仕組み

上の図が、K3の設計の要になっている部分です。

2.8兆個の数値をすべて計算に使っていたら、返事が返ってくるまでに途方もない時間とお金がかかります。そこでK3が採っているのが、MoE（Mixture of Experts＝専門家の混合）と呼ばれる作りです。モデルの内部を896個の「エキスパート」に分割しておき、入力された言葉ひとつを処理するたびに、そのうち16個だけを選んで動かします。割合にして約1.8%。残りの98%あまりは、その瞬間は眠っています。

MoE自体はいまや珍しくありませんが、K3はこの「起こさない割合」をかなり極端なところまで振っています。Moonshotによれば、注意機構まわりの2つの改良（Kimi Delta AttentionとAttention Residuals）などと合わせて、前世代のKimi K2に比べて計算資源から性能を引き出す効率が約2.5倍になったとのことです。

ほかの主な仕様は、コンテキスト長が100万トークン、画像もそのまま扱えるマルチモーダル、そして推論（じっくり考えるモード）が常時オン。公開時点では思考の強さは最大設定の一段階だけで、弱め・中くらいのモードは後から追加する予定だと説明されています。

評価の位置づけ

数字の話は、どの物差しで測ったかを添えないと意味が変わってしまうので、少していねいに見ます。

いちばん話題になったのは、開発者が名前を伏せた状態で出力を見比べる「Frontend Code Arena」というランキングです。ここでK3は1,679点で1位に立ちました。前バージョンのKimi K2.6は18位だったので、17段ぶんの飛び越しになります。ウェブ画面を作らせる、という限定された用途での比較です。

一方、総合的な強さについてはMoonshot自身が「最上位の商用モデルには届いていない」と明記しています。同社の評価では、AnthropicのClaude Fable 5とOpenAIのGPT-5.6 Solの後ろにつけ、それ以外のテスト対象は上回った、という位置づけです。

つまり、分野ごとにばらけている、というのが実態に近い。フロントエンドのコード生成では首位を取り、総合では上位グループの一角、という読み方になります。

自分のパソコンで動くのか

重みが公開されると聞くと「自宅のPCで動かせるのでは」と考えたくなりますが、K3に関してはそうはいきません。Moonshotは、64基以上のアクセラレータをまとめた「スーパーノード」構成での運用を推奨しています。研究機関や企業のGPUクラスタが対象で、個人の機材で扱える規模ではありません。

実際に触るなら、当面はKimiのアプリやAPIを使うことになります。API価格は入力100万トークンあたり3ドル（キャッシュに当たった場合は0.30ドル）、出力100万トークンあたり15ドル。前世代のKimi K2は入力0.60ドルだったので、キャッシュに当たらない入力は5倍に上がった計算です。

留意点

いくつか、割り引いて読んだほうがいい部分があります。

重みの公開はまだ予定の段階です。 7月27日までに出す、と告知されているだけで、この記事を書いている時点では実物は出ていません。「史上最大のオープンウェイトモデル」という表現も、公開が済むまでは確定した事実ではありません。

ベンチマークの数値は、多くがMoonshot自身の測定です。 同社の技術ブログには、モデルごとに違う実行環境（ハーネス）を使った、一部は自社内製のベンチマークである、といった注記が細かく添えられています。条件をそろえた第三者の検証は、重みが公開されてからが本番です。前世代のK2.6でも、公表値と実際の使い勝手の差は使い込んでみないと分からない、という指摘が出ていました。

制約はMoonshot自身も挙げています。 会話の途中で他のモデルから切り替えると出力が不安定になりやすいこと、指示があいまいなときに勝手に判断を進めてしまう傾向があること、そして使い心地の面ではFable 5やGPT-5.6 Solに見劣りすること。この3点が公式ブログの「Limitations」に並んでいます。

7月27日を過ぎて、実際に手元で動かした人たちの報告が出そろってから、あらためて評価が定まるタイプの発表だと思います。