測定可能なものだけが最適化対象になるでは「指標化できるものしか最適化されない」という構造を扱った。本ノートはその一段下のレイヤー、「何を測定対象に選ぶか」を扱う。同じ最適化アルゴリズムでも、KPIに選ぶものが人間の本能反応と相関する数値であった場合、システムは本能の増幅装置として機能しうる。
SNSのエンゲージメント指標
Twitter / X、Facebook、TikTok、YouTubeのレコメンドエンジンは、滞在時間・いいね・コメント・シェアといったエンゲージメント指標を主要なシグナルとして使っていることが、各社のドキュメントや漏洩した内部資料から知られている。
人間が反射的にエンゲージしてしまう投稿は、内容として中立なものより、感情的に強く揺さぶるもののほうが集めやすい。怒り、嫉妬、驚き、恐怖、義憤。MIT の Vosoughi らの研究（2018, Science）でも、虚偽情報は真実より早く広く拡散することが示されている。原因のひとつは、虚偽情報のほうが「驚き」を引き起こす度合いが高いため、シェアされやすいというものだった。
結果として、エンゲージメント最大化アルゴリズムは、本能反応を引き起こす投稿を構造的に優遇する形になっている。これが設計者の意図かどうかは外からは断定できない。Frances Haugen による 2021 年のFacebook内部資料リークでは、怒りの絵文字リアクションが「いいね」より高い重みづけをされていたことや、エンゲージメント中心の指標変更が二極化を加速する懸念が社内でも認識されていたことが報告された。意図的な操作と最適化の自然な収束は、外から見た振る舞いとしては区別が難しい。
いずれにせよ、エンゲージメント指標を上げる方向と本能反応を増幅する方向が、構造的に一致してしまっているという観察は成立する。
測定可能性の問題とは別のレイヤー
マクナマラの誤謬型の問題は、「測れるものしか考慮されない」という構造だった。景観や信頼やケアが落ちるのは、それらが数値化できないから。
本ノートで扱う問題は、数値化はできているが、その数値が「本能反応の強さ」と一致してしまっている、という構造。
両者の違いを整理すると以下のようになる。
| 問題のレイヤー | 例 | 切り捨てられるもの |
|---|---|---|
| 測定可能性 | GDP、企業会計、採用選考 | 数値化できない価値（家事労働、自然環境、人柄） |
| 測定対象の選定 | SNSレコメンド、広告、ニュース見出し | 数値化はされているが本能を刺激しないもの（冷静な議論、長い文章、複雑な事実） |
同じ「アルゴリズムが歪める」現象でも、原因のレイヤーが違う。だから対策も違う。前者は「測れないものをどう拾うか」が論点になり、後者は「指標と本能反応の癒着をどう切り離すか」が論点になる。
本能反応の増幅が起こす結果
本能反応をKPIにすると、いくつかの傾向が連鎖的に起こる。
ひとつ目、怒りと分断が経済的に報われる。煽る発言はエンゲージメントを集めるので、レコメンドエンジンによって拡散される。冷静な発言は埋もれる。プラットフォーム上で発言する側は、エンゲージメントが得られないと存在できないので、自然と煽る方向に最適化される。インフルエンサーが過激化していく現象も、人格の問題というより、システム側の選別圧の結果として説明できる。
ふたつ目、注意の断片化が進む。本能反応は短時間で起こるので、長い文章や複雑な議論は本能反応を引き出しにくい。結果として、短いコンテンツ、衝撃的なサムネイル、感情的な見出しが優位になる。スマホの常用は脳を報酬系優位に固定し、読書に必要な認知制御系への切り替えを困難にする現象も、この最適化圧力の結果として加速される。
みっつ目、世界観の歪み。遠くの出来事が重要に見えるのは狩猟採集時代の脅威検出本能の誤作動であるで扱われているように、本来は身近な脅威に反応するための回路が、遠隔地の出来事に対しても発火する。SNSのレコメンドはこの誤作動を毎日大量に供給するので、ユーザーは世界の危険度を実際より高く見積もるようになる。実際の犯罪率は下がっているのに体感の治安が悪化する、という現象もここから説明できる。
なぜこれが起こるのか
本能反応をKPIにすることが意図的なら、悪意の問題として議論できる。しかし実際には、エンゲージメント指標は「ユーザーが何を見たがっているか」を測ろうとした素直な指標だ。
問題は、人間の「見たがる」という反応が、本能反応と理性的な判断の混合であり、本能反応のほうが速くて強いという非対称性にある。「見たい」と「見て良かった」は別物だが、エンゲージメント指標は前者しか測れない。
ポリコレに対する反感と天邪鬼的振る舞いの本能的背景が示すように、本能反応は理屈で抑え込めない速度で発火する。指標がこれを拾ってしまうと、システムは理性ではなく本能を増幅する側に回る。
対策の方向性
本能反応を切り離してKPIを設計するアプローチがある。たとえば、「視聴後の満足度」「24時間後にも価値を感じたか」「3ヶ月後にも覚えているか」といった事後的指標を組み合わせる方法。事後の評価は本能反応より理性的な判断が混じるので、本能直結のエンゲージメント指標を補正できる。
ただし、事後指標は遅く、運用コストが高い。多くのプラットフォームが事後指標を本気で組み込まないのは、それが技術的に難しいからというより、エンゲージメント指標のほうが取りやすくて運用が回るから。再び測定可能性のフィルタが効いている。前ノートで扱った「測れるものに引きずられる」構造と、本ノートで扱う「本能反応に引きずられる」構造は、別レイヤーだが互いを強化する関係にある。
別の方向として、レコメンドそのものを弱める、つまりユーザーの能動的な選択を増やす設計もある。ソーシャルメディアの計画的利用は生産性と時間管理を向上させるのような個人側の対処と、プラットフォーム側のレコメンド設計の見直し、両方が必要になる。個人の自己規律だけで対処させるのは、システム側の最適化圧の強さを考えると非対称すぎる。
整理
「アルゴリズムが人間を歪める」という現象は、ひとくくりにすると見えなくなる。
- 何を測定対象にしているか（測定可能性のフィルタ）→ 測れない価値が落ちる
- 測定対象が本能反応と癒着しているか → 本能反応が増幅される
- 指標化したものが歪んだインセンティブを生むか（コブラ効果） → 指標を満たすための偽装行動が出る
この3つは別のレイヤーの問題なので、対策も別になる。雑に「アルゴリズムは悪だ」と論じても具体的な処方箋には至らない。レイヤーを分けて、それぞれに対する設計上の応答を作っていく必要がある。