仰向けになって、短い足を宙に浮かせて、お腹を撫でられている犬。この動画をiMessageで送ったところ、受け取った側の画面にはぼかしがかかり、「センシティブな内容の可能性があります」と表示された。自分でタップして解除しないと、犬は見られない。iPhoneがこの動画を「ヌードが写っているかもしれない」と判定した、ということになる。
報じたのはテック系メディアの404 Media。記者のジョセフ・コックス氏が、友人の犬の動画で実際に起きた出来事として、7月28日に書いている。犬は頭からお腹まで写っていて、胸のあたりの乳首も見えている——引っかかりそうな要素として本人が挙げているのは、それくらいだ。
「センシティブな内容の警告」という機能
働いていたのは「センシティブな内容の警告」（Sensitive Content Warning）という機能だ。ヌードを含んでいそうな写真やビデオを受け取ったとき、中身を表示する前にぼかしをかけ、警告を出す。iOS 17以降で使えるようになった（ほかにiPadOS 17以降、watchOS 10以降、macOS Sonoma以降、visionOS 2以降）。
対象はメッセージアプリだけではない。AirDrop、共有写真アルバム、電話アプリと連絡先アプリの連絡先ポスター、FaceTime通話とビデオメッセージも含まれる。iPhoneでオンにすると、ペアリングしているApple Watchでも自動的に有効になる。
警告が出た画面では、いくつかの選択肢が示される。「表示」を選べばぼかしが外れる。警告ボタンからは、安全に関する情報を見たり、相手をブロックしたりできる。iMessageやFaceTimeビデオ通話で検出された場合は、送信者をアップルに報告することもできる。
犬と鹿が引っかかった実例
この犬の動画は、単発の珍事ではない。アップルのサポートコミュニティには、同じような投稿がいくつか残っている。
2025年5月の投稿は、iMessageのグループチャットに写真を3枚送ろうとしたら、送信ボタンを押した直後に警告が出た、という内容だ。引っかかったのは犬の体を写した1枚で、残りの2枚は何ごともなかった。投稿者は「これは誤った警告だと思う。問題として報告したいだけです」と書いている。
2024年10月には、トレイルカメラ（動物が近づくと自動で撮影する野外用カメラ）に写った鹿の写真が「センシティブかもしれない」と判定され、送信するかどうかを尋ねるポップアップが出た、という報告もある。
ひとつ補足しておくと、アップルの説明を読むかぎり、大人向けの「センシティブな内容の警告」は受け取る側の機能で、送ろうとした時点で止まる動きのほうは、子ども向けの「コミュニケーションの安全性」の説明に書かれている。投稿者がどちらの設定で使っていたかまでは分からないが、判定に使われている技術そのものは共通だとアップル自身が説明している。なお404 Mediaはアップルにコメントを求めたが、返答はなかったという。
端末内で完結する判定の仕組み
ここは誤解されやすいところなので、先に押さえておきたい。「送った写真や動画の中身が調べられている」と聞くと、どこかのサーバーに送られて審査されているように思えるが、そうではない。
アップルの説明では、この判定はデバイス上の機械学習で行われる。写真やビデオは手元の端末の中で分析されるため、ヌードが検出されたことがアップルに通知されることも、アップルがその写真やビデオにアクセスすることもない、と書かれている。子ども向けの「コミュニケーションの安全性」についても、まったく同じ説明が置かれている。犬の動画がヌード判定されたからといって、その犬がアップルのサーバーに送られたわけではない。
ただし、例外がひとつある。警告画面から「送信者をアップルに報告」を選んだ場合は、そのセンシティブな内容がアップルに送られて審査される。アップルは必要に応じて、法執行機関を含む関係当局に報告を転送したり、送信者のApple Accountに対して対応を取ったりすることがある、としている。自分から報告したときだけ、内容が端末の外に出る仕組みだ。
画像認識が取り違える背景
では、なぜ犬なのか。アップルは判定モデルの中身を公開していないので、ここから先は一般的な画像認識の仕組みからの見立てになる。
この種の判定をするモデルは、「裸とは何か」という概念を理解しているわけではない。大量の画像と「これはヌード／これは違う」というラベルを与えられて、ヌードとされた画像に共通して現れる画素の並び——色の分布、明暗の変化のしかた、輪郭の曲がり方——を統計的に覚えている。見ているのは意味ではなく、見た目のパターンのほうだ。
仰向けの犬は、そのパターンに近い条件がいくつも重なる。毛の薄いお腹が画面の大きな面積を占め、明るくなめらかな面が広がる。四本の足が上と横に伸びて、細長い胴体から手足が放射状に出た形になる。腹側に並ぶ乳首は、小さな暗い点が左右対称に並ぶ配置になる。人の胴体を写した画像をヌードとして学習していれば、この構図は数値の上でそこそこ近い場所に来る。
鹿の写真も、同じ理屈で説明がつきそうだ。トレイルカメラの画像は夜間の赤外線撮影で色の情報が乏しく、明暗のコントラストだけが残る。大型の哺乳類の体は、毛皮の質感が飛んでしまえば、なめらかな面と四肢という骨格だけになる。
つまり、AIが「裸」を見分けているのではなく、「裸の写真によく出てくる画素の並び」を見分けている。その差が、仰向けの犬という形で表に出た、ということになる。
見逃しよりも誤検出を選ぶ設計
もうひとつ、判定のしきい値（どのくらい怪しければ警告を出すか、という境目）の話がある。
こういう仕組みには、間違い方が2種類ある。本当に裸が写っているのに素通りさせる「見逃し」と、何でもないものを裸だと判定する「誤検出」だ。両方をゼロにはできず、片方を減らせばもう片方が増える関係にある。
この機能で見逃しが起きると、望まないヌード画像がそのまま目に入ることになり、機能の存在意義そのものが崩れる。一方、誤検出が起きても、実害は「ぼかしを一度タップする」で済む。であれば、迷ったら警告を出す側に振っておくのが、設計としては合理的な選択になる。
そこに、端末の中で動かすという条件も重なる。クラウドの大きなモデルと違って、スマートフォンのメモリと電力の枠内で、写真やビデオをやり取りするたびに一瞬で結果を出さなければならない。使えるモデルの規模には上限があり、細かい区別は苦手になる。犬が引っかかるのは、その控えめな精度と、甘めに振ってあるしきい値が重なった結果と考えると、筋が通る。
子どもの保護から始まった経緯
そもそもこの判定は、大人向けに作られたものではなかった。
先に登場したのは「コミュニケーションの安全性」のほうで、2021年12月のiOS 15.2でメッセージアプリに入った。子どもがヌードを含む写真やビデオを受け取ったとき、あるいは送ろうとしたときに、ぼかしと警告を出していったん立ち止まらせる。信頼できる大人に相談する、会話から抜ける、相手をブロックする、といった選択肢もそこで示される。現在は18歳未満のユーザーにはデフォルトでオンになっていて、13歳未満の子どもがぼかしを外すにはスクリーンタイムのパスコードが必要になる。
iOS 17で、この同じ端末内の判定技術を大人にも開放したのが「センシティブな内容の警告」だ。望まないヌード画像を送りつけられる被害への対策として、自分でオンにできるオプション機能という位置づけになっている。
そして、この判定の使い道は広がる方向にある。アップルは6月8日のプレスリリースで、「コミュニケーションの安全性」が今後は残酷・暴力的なコンテンツも検出してブロックするようになると発表した。今秋のiOS 27などのアップデートで提供される予定だ。開発者向けにも SensitiveContentAnalysis という名前で同じ仕組みが公開されていて、他社製アプリに組み込むことができる。判定される対象も、判定が働く場所も増えていく。誤判定がどこで起きうるかという話は、iMessageの中だけの問題ではなくなっていきそうだ。
設定画面での確認手順
自分のiPhoneでこの機能がどうなっているかは、設定から確認できる。
- 「設定」を開き、「プライバシーとセキュリティ」を選ぶ
- 下にスクロールして「センシティブな内容の警告」をタップする
- オン／オフの状態を確認する
Macの場合は、アップルメニューから「システム設定」を開き、サイドバーの「プライバシーとセキュリティ」→「センシティブな内容の警告」。機能全体をオフにするほかに、アプリごとにオン・オフを分けることもできる。
切るかどうかを決めるときの材料としては、この機能が防ごうとしているのが「知らない相手から突然ヌード画像が送られてくる」状況だ、という点がある。オフにすれば、次にそういう画像が届いたときは何の前置きもなく画面に出る。犬の動画が一度ぼやけた煩わしさと、そこを天秤にかける話になる。
子どものデバイスで動く「コミュニケーションの安全性」は別の設定で、「設定」→「スクリーンタイム」→子どもの名前→「コミュニケーションの安全性」から管理する。地域によっては、オフにするのにファミリー共有グループの成人メンバーの確認が必要になる場合がある。
コメント