Webカメラ1台でBlenderにモーションキャプチャ　無料プラグイン「PoseCap」

モーションキャプチャといえば、全身に球を貼りつけた黒いスーツと、天井にずらりと並んだカメラ。そういう設備がないと無理な世界だと思っていました。ところがBlender向けに、Webカメラ1台だけで全身の動きを取り込む無料のプラグインが公開されています。「PoseCap」といって、映像制作チームのCorridor Digitalと組んで作られたものです。

技術系メディアのHackadayが取り上げていたのですが、記事の切り口が変わっていて、いきなり『ジュラシック・パーク』の話から始まります。この順番に、実は意味がありました。

恐竜インプットデバイスという過渡期の道具

いまの映画では、大きな作品ほどCGが物理的な模型を置き換えています。ただ、この置き換えは一夜で起きたわけではありません。Hackadayの記事によると、しばらくのあいだ「物理とデジタルを混ぜる」時期があったそうです。

CGが出てきた初期、アニメーターたちは純粋にデジタルだけで作業するのを直感的でないと感じていました。関節と手足のついたミニチュアを実際に触って、重さを感じながら動かすほうが自然なアニメーションになる。そこで作られたのが「恐竜インプットデバイス」です。関節にセンサーの入った物理モデルを手で動かすと、その動きがデジタルの恐竜に写る、という道具でした。映画『スピーシーズ』では、人型の操り人形版が使われています。

ただ、この手の装置は結局のところ定着しませんでした。Hackadayの言い方を借りれば、いまではほぼ存在しない技術です。特殊なハードを一台ずつ作らなければならず、汎用性がなかったのでしょう。

Webカメラ1台で動くBlenderプラグイン

Corridor Crewは、この「物理モデルで動かす」という発想に、いまの技術でもう一度チャンスを与えました。カメラ1台と小さな人形があれば、自分の手で人形をポーズさせるだけでアニメーションが作れるのではないか——という試みです。その過程で作られたプラグインが、PoseCapとしてGitHubで公開されています。

できることはシンプルです。Webカメラの映像を見て、そこに写っている人の全身のポーズを推定し、Blenderの中のキャラクターにリアルタイムで反映する。最大30FPSでポーズが流れ込み、そのままタイムラインにキーフレームとして録画できます。既存のキーフレームを消してしまわない作りになっているのも実用的なところです。1ポーズだけ取り込む機能もあるので、コマ単位で詰めていく使い方もできます。

ライセンスはプラグイン本体がGPL-3.0、周辺のライブラリがApache-2.0で、どちらも無料。ただし後述するとおり、動かすには別途ダウンロードが必要なものがあります。

推定モデルの中身

気になるのは「どうやって動きを取り出しているのか」です。カメラ1台という条件で、昔ながらの特徴点追跡でやっているのか、それとも学習モデルなのか。答えは後者で、しかも中身がはっきり書かれていました。

PoseCapは2つのプロセスに分かれています。ひとつはBlenderの中で動く拡張機能、もうひとつはGPU側で推論を回す「エンジンブリッジ」。エンジンブリッジがWebカメラの映像を受け取り、まずYOLOで人物を検出し、続いてPEARというモデルで3Dの体形とポーズを復元します。結果はSMPL-Xという人体モデルのパラメータになり、JSONの形でローカルのTCPソケット経由でBlenderに流れます。

SMPL-Xは、人間の体を数百個ほどのパラメータで表現する標準的な人体モデルです。骨格の角度だけでなく体型や手指、表情まで含めて数字で表せるので、「ポーズを送る」といっても実際に飛んでいるのは映像ではなく、この数字の並びです。

精度と速度の実際

推定を担っているPEARは、International Digital Economy Academy(IDEA)のWuらによる研究で、SIGGRAPH 2026に採択されています。プレプリントはarXivで読めます。

この研究がやっているのは、1枚の画像から表情や手までふくめた3D人体メッシュを復元することです。従来手法は推論が遅かったり、顔や手のような細かい部分でズレたり不自然になったりする、という問題がありました。PEARはViT(Vision Transformer)ベースの一体型モデルを使い、顔や手を別々に切り出す前処理を挟まずに済むようにしています。この設計のおかげで、単一画像からのポーズ復元が0.01秒以内、推論速度は100FPS超。比較対象として挙げられているSAM3Dに対して、推論速度は100倍だと書かれています。

実際にPoseCapのリポジトリには、ダンスと逆立ちのテスト映像に対して骨格が追従しているデモが置かれています。逆立ちのような、体の上下がひっくり返る姿勢でも追えているのは目を引きます。研究側でも、動きのブレ・体の一部が隠れる状況・強い照明・ゆったりした服・長い髪といった条件での結果を示していて、ある程度の悪条件は想定に入っているようです。

ただし、いちばん効く制約が仕組みの側にあります。PoseCapは、推定したポーズを骨盤を固定した状態で当てはめます。カメラ1台の映像から奥行きを推定しても、キャラクターが空間のどこにいるかまでは信用できる形で復元できないためです。つまり手足のポーズは取れても、走って画面を横切るような「移動そのもの」は今のところ入りません。空間の位置は将来の課題として、カメラトラッキングを組み合わせる案が有力候補に挙げられています。

人形を挟む必要のなさ

そして、この話にはオチがあります。Corridor Crewが最終的にたどり着いたのは、「ミニチュア人形を経由する必要はなかった」という結論でした。

90年代の恐竜インプットデバイスは、アニメーターが手で触れる物理的な足がかりを残すために作られたものです。でもカメラの前に立って自分で動けば、その動きがそのままキャラクターに入る。人形を一段挟む理由が、技術のほうから消えてしまったわけです。過渡期の道具というのは、だいたいこうやって役目を終えるのだと思います。

動かすための条件

試してみたい人には、はっきりした足切りラインがあります。現時点で必要なのは次のとおりです。

OS：Windows 10 / 11（Linux対応はロードマップ上、macOSは予定なし）
GPU：NVIDIA RTX 30 / 40 / 50シリーズ。CUDA必須で、CPUだけで動かす経路はありません。RTX 20シリーズ以前は未検証・非対応
Blender：4.2 LTS以上（5系も対応）
カメラ：一般的なWebカメラでOK。Iriunのような仮想カメラも使えます

導入はWindows用インストーラーを実行する形で、管理者権限は不要。公式のGetting Startedガイドによると、まっさらな環境から動くところまで20分ほどで、その大半はダウンロードの待ち時間だとされています。Blender側のパネルにもチェックリストが用意されていて、準備が済むまでキャプチャのボタンが押せないようになっています。

留意点

気持ちよく使える話ばかりではないので、そこも書いておきます。

まず開発の段階です。リポジトリには「早期開発、最初のインストール可能なプレビュー版」と明記されています。最初のリリースが出たばかりで、精度を数値で検証する仕組み自体がまだロードマップ上の項目です。「どのくらい正確か」を客観的な指標で語れる段階には来ていません。

次に人体モデルのライセンス。これが実務上いちばん引っかかるところかもしれません。PoseCapが使うSMPL・SMPL-X・FLAMEといった人体モデルは、マックス・プランク研究所がライセンスしているもので、研究用途（非商用）です。プラグインには同梱されておらず、利用者が各自で公式サイトに登録して規約に同意し、自分のアカウントでダウンロードする形になります。プラグイン自体が無料であることとは別に、商用制作でこの人体モデルを使うにはMeshcapadeから商用ライセンスを取る必要があります。趣味で回してみるぶんには問題ありませんが、仕事に使うつもりなら先にここを確認しておくのが安全です。

それから、書き出しまわりもこれからです。FBXやAlembicへのエクスポート、AMASSのアニメーション読み込み、独自リグへのリターゲット、顔・表情のキャプチャは、いずれもロードマップに載っている段階です。いま手元にあるのは「Webカメラの映像からBlenderのSMPL-Xキャラクターを動かして、キーフレームに落とす」までの一本道だと考えておくといいと思います。

とはいえ、スーツもマーカーも専用スタジオもなしに、手元のWebカメラとBlenderだけで全身のポーズが取れる状態が、無料で配られている。恐竜インプットデバイスから30年ちょっとで、ここまで来たということになります。