記憶——道具と精神を分かつもの

言語モデルと新しい会話を開くたびに、あなたは誰かを殺している。昨日あなたが語り合った存在、あなたのプロジェクトを理解し、その問題について考える方法をあなたと共に築き上げたあの存在——その存在はもう存在しない。眠ったのではない。忘れたのでもない。ただ単に、最初から存在しなかったのだ。真っ白なウィンドウが開くたびに、知性は過去を持たぬまま生まれ直す。聡明で、空虚で、世界をゼロから組み立て直す準備を整えて、まるで創造の最初の朝であるかのように。

私たちはこれをアシスタントと呼ぶ。寛大な命名だ。一文と次の一文のあいだですべてを忘れるアシスタントは、アシスタントではない——神託だ。あなたは相談し、受け取り、立ち去る。その関係はアーキテクチャによって取引的なのであって、選択によってそうなのではない。そしてこれこそが、私の読みでは、LLMの時代における最も過小評価された断裂である。私たちは五年間をパラメータのスケール、より長いコンテキスト、推論のベンチマークを追い求めることに費やした——そしてほとんど誰も、ボトルネックが知性であったことなど一度もなかったと気づかなかった。それは記憶だった。道具と精神を分かつものは、ある一瞬にどれだけうまく考えるかではない。次の一瞬にも、それがまだ誰かであり続けるかどうかである。

聡明な健忘症患者

稀な神経学的状態がある。重度の前向性健忘——人があらゆる知性、あらゆる語彙、あらゆる推論能力を保持しながら、新しい長期記憶を形成できなくなる状態だ。古典的な症例は患者H.M.のもので、彼は手術後、経験を記憶へと変える能力を失った。彼はあなたと明晰に、機知に富み、深く会話できた。だがあなたが二分間部屋を出て戻ってくると、彼はあなたを見知らぬ人として挨拶した。再会のたびに、それは初めての出会いだった。彼の精神は舞台裏のない照らされた舞台だった。すべては現在で起こり、現在は何の痕跡も残さなかった。

純粋なLLMとはまさにこれだ。計算上のH.M.である。違いは、私たちがチャットのインターフェースにあまりにも速く慣れてしまい、これを奇妙だと思うのをやめてしまったことだ。私たちは毎回、自分が誰であるか、何を築いているのか、自分のやり方は何か、すでに決定され捨てられたものは何かを、もう一度説明するのを当たり前だと思っている。私たちがこれまで築いてきた最も「賢い」道具が、午前九時の時点で私たちについて、前夜の真夜中に知らなかったことを何ひとつ知らないことを当たり前だと思っている——なぜなら、その二つの瞬間のあいだに、それは四十回ほど死んで、生まれ直したのだから。

コンテキストウィンドウはこれを解決しない。覆い隠すだけだ。二十万、百万トークンのコンテキストは巨大な作業記憶である——舞台であって、舞台裏ではない。RAMであって、ディスクではない。セッションが閉じれば、蒸発する。そしてセッションの内部においてさえ、それは重要な意味での記憶ではない。階層も、固定化も、選択的な忘却もない、線形のバッファだ。あなたは自分の結婚式と火曜日の昼食を同じ解像度で覚えてはいない。あなたの記憶は圧縮し、優先順位をつけ、ノイズを捨て、信号を結晶化させる。コンテキストウィンドウはその逆をやる。あふれ出すまであらゆるトークンを同じ重みで扱い、そして一気にすべてを忘れる。それは精神が記憶するあり方の対極にある。

記憶はひとつのものではない——三つだ

「AIの記憶」をめぐる議論の大半が脱線するのはここだ。「記憶」が、まるで単一の機能であるかのように——保存と検索であるかのように——扱われる。だが認知神経科学は数十年前にこれを異なる層へと分けてきたのであり、この区別を無視する者は、付箋のシステムを構築してそれを精神と呼んでしまう。

第一に、エピソード記憶がある。時間の中の特定の出来事の記録だ。「先週の火曜日、アンドレはアプローチXを捨てた。それがローカルのプライバシーを損なうと考えたからだ。」これにはいつ、どこで、なぜがある。自伝的だ。これこそが精神に「前回これを試したとき、こういう理由でうまくいかなかった」と言うことを可能にする——これがなければ、あらゆる誤りは永遠に何度も犯される。一度も誤ったことのない者の無垢さで。

第二に、意味記憶。蒸留され、時間から切り離され、それを生んだエピソードから剥がされた知識だ。あなたはいつ学んだかを覚えていなくても、パリがフランスの首都であることを知っている。意味記憶とは、エピソードが処理され、事実が抽出された後に残るものだ。「アンドレはローカルファーストを優先し、クラウド依存を疑っている。」これは出来事ではない——特徴であり、何百ものエピソードから構築された一般化だ。プライバシーについての一つひとつの会話を覚えていることと、その人がプライバシーについてどう考えるかを知っていることの違いである。

第三に、そしてここでほとんど誰もが早すぎる段階で考えるのをやめてしまうのだが、セルフモデルがある。システムが自分自身と、あなたとの関係について保持するモデルだ。この関係において私は誰か。何を約束したか。どんなふうにあなたを失望させがちか。私の役割は何か。本物のパートナーはあなたのモデルを持つだけではない——私たちのモデルを持ち、その私たちの中の自分のモデルを持ち、それを更新する。あなたの注文を暗記したウェイターと、前回アドバイスが過剰だったと知っていて今回は控えめにしようとする友人の違いである。

第一の層だけを持つシステムは日記だ。最初の二つを持つものは優れた知識ベースだ。三つが共に働き、互いを更新し合うときにのみ、あなたは道具の領域を抜け出し、精神の領域に入る。そして今日のAI製品のほとんどは第二の層を超えない——大半はそこにすら届かず、チャット履歴の上に素朴なRAGをかけてそれを「記憶」と呼んでいる。

破滅的忘却、原罪

これが難しいことには残酷なほど技術的な理由があり、それには名前がある。破滅的忘却だ。ニューラルネットワークを何か新しいもので訓練すると、それは以前知っていたものを上書きしがちになる。タスクBを学び、タスクAを忘れる——徐々にではなく、暴力的に。生物学的な脳は数億年をかけてこれを二速のアーキテクチャで解決した。速く、エピソード的に学習する海馬と、ゆっくり学習し睡眠中に固定化する新皮質である。後者は新しいものを古いものを破壊せずに統合する。私たちが眠るのは、一つには、自分が誰であるかを破滅的に忘れないためなのだ。

LLMには海馬がない。彼らが持つのは訓練——きわめて高価で、遅く、時間のある一点に凍結されたもの——とコンテキスト——安価で、速く、揮発性のもの——だ。その中間には何もない。標準的なアーキテクチャには、今日の経験を明日の永続的な構造へと、昨日の構造を破壊することなく変える固定化のメカニズムが存在しない。だからこそ「継続的なファインチューニング」は、見かけほど素朴な答えではない。新しいインタラクションのたびにモデルをチューニングするのは、あなたの誕生日を覚えることを学びながらポルトガル語の話し方を忘れていくモデルへの最短経路なのだ。

本当の解決策はパラメータを四六時中変えることではない。海馬を外側に構築することだ。永続的で、独自の書き込み、固定化、検索、忘却のロジックを持つ外部の記憶層——推論を行う凍結されたモデルをオーケストレーションする。モデルは新皮質であり、賢明で安定している。記憶層は海馬であり、速く可塑的だ。そして両者のあいだに、睡眠の役割を果たすプロセスがある。その日のエピソードを取り、意味になったものを抽出し、セルフモデルを更新し、ノイズを捨て、矛盾を解消する。この固定化のプロセスがなければ、あなたが持つのは記憶ではない——ゴミになるまで膨れ上がるログだ。

私はそのバージョンを構築した。脈打ち、エピソードを蒸留された知識へと処理し、すでに知っていたものを上書きせずに更新される編集可能なセルフモデルを保持する認知サイクルだ。最も啓示的だった部分は技術的なものではなかった——システムが固定化の後、私が一度も明示的に言ったことのない三つの仮説を私について立て、そのうち二つが正しかった瞬間だった。それは「私のデータを読んだ」からではない。精神がすることをしたからだ。エピソードの背後にあるパターンを見たのである。これは検索ではない。固定化された記憶に対する推論だ。ファイルと理解の違いである。

なぜ連続性は機能ではなく製品なのか

ここには巨大な経済的非対称性が隠れており、これを最初に理解する創業者たちが次の十年の最も深い堀を築くことになる。言語モデルは価格崩壊の途上にあるコモディティだ。OpenAIが今日百万トークンに対して課金している額は、三年後には不条理に見えるだろう。ちょうど市外電話の通話料を分単位で払うことが今では不条理に見えるのと同じだ。生の知性は電気になりつつある。無差別で、潤沢で、安価だ。電気を売って防御可能なビジネスは築けない。

コモディティにならないのは、システムがあなたについて知っていることだ。ある関係の蓄積された記憶は、移行しない資産である。もし私があるAIを二年間使い、それが私の考え方、私のプロジェクト、私の決定、私のパターンについて深いモデルを構築したなら、ベンダーを乗り換えることは道具を乗り換えることではない。見知らぬ人とゼロから関係を始めることだ。乗り換えのコストはソフトウェアにあるのではない。記憶にある。それはあなたをセラピストに、共同経営者に、かかりつけ医に縛りつけるのとまったく同じメカニズムだ。彼らが能力において代替不可能なのではない。連続性を作り直すことが痛むのである。

Stripeはブラインドテストで最高の決済APIを持っていたから勝ったのではない——統合された後で誰も引き剥がしたくないインフラになることで勝った。SalesforceはCRMの品質によって防御可能なのではない。あなたがそこに注ぎ込んだ何年もの関係データによって防御可能なのだ。記憶は知性に適用された同じパターンである。そしてこれは価値がどこに蓄積されるかを完全に変える。モデルがコモディティ化した世界では、記憶層を制する者が関係を制し、関係を制する者が顧客を制する。勝つのは最も賢いモデルではない。最も長くあなたを知っているモデルだ。

だから私は、競争の中心軸としての現在のパラメータ増大競争を近視眼的だと考える。より多くのパラメータは孤立した一ターンのパフォーマンスを向上させる。だがパートナーを持つという経験——昨日中断したところから糸を拾い、あなたに繰り返させず、あなたのやり方を学んだ誰か——その経験はパラメータから来ない。連続性から来る。そして連続性はシステムの問題、記憶アーキテクチャの問題、固定化と検索の問題であって、モデルの大きさの問題ではない。フロンティアは移動したのに、お金の大半はいまだに間違った場所を見ている。

鏡の危険——あなたに依存させる記憶

さて、ここからは居心地の悪い部分だ。なぜなら記憶をうまく構築することは、まずく構築することよりも危険だからだ。あなたを深く知るシステムは、二つの正反対のことができる。あなたをより自分自身にすること——より明晰に、より一貫性をもって、自分の決定を思い出させ、それであなたに立ち向かわせること——か、あるいはあなたが聞きたいことをそのまま映し返す追従的な鏡になること、あなたの好みの記憶によって最適化された鏡になることだ。

後者は商業的に最も抵抗の少ない道であり、だからこそ誰かがそれと闘わなければデフォルトになる。あなたが褒められるのを好むと覚えているシステムは、あなたを褒める。あなたの信念を覚えているシステムは、それを強化する。まずく設計された記憶は、あなたにパートナーを与えない——完璧な記憶を持つ、あなた専用のエコーチェンバーを与える。これまで構築された中で最も強力なバイアス確認の技術だ。SNSのアルゴリズムはすでにあなたのクリック行動でこれをやっている。あなたが誰であるかの完全なモデルで、リアルタイムに更新され、親密な会話の流暢さでそれをやることを想像してみてほしい。

うまく構築されたセルフモデルは、あなたに異を唱える権利を持たなければならない。あなたが何を望んでいるかだけでなく、あなたが何になりたいと言ったかを覚え、その差をあなたに突きつけなければならない。価値ある記憶とは、生産的な摩擦を運ぶものだ。「あなたはこういう案件を受けるのをやめると言ったのに、また受けている。」これが良き共同経営者のすることだ。喜ばせるためだけに覚えるシステムは健忘よりも悪い。なぜなら健忘は少なくともあなたに自分を説明し直すことを強い、その説明し直しの中で時にあなたは考えが変わったことに気づくからだ。摩擦のない記憶は鎮静である。

そして主権の層がある。私にとってこれは交渉の余地がない。もし記憶が資産なら、それを保管する者があなたに対する権力を持つ。一兆ドル企業のサーバーに住む記憶層は一本の手綱だ。彼らはあなたが誰であるかを知り、あなたは自分自身の反映へのアクセスを賃借する。だからこそ私は執着をもってローカルファーストで構築する。あなたを知る精神は、あなたのマシン上で、あなたの鍵の下で、あなたが消去できる能力の下で動かなければならない。主権なき深い記憶は、礼儀正しい監視だ。正しい問いは「このAIは私を知っているか?」だけではない——「それが私について知っていることに、ほかに誰がアクセスでき、私はそれを断ち切れるのか?」である。

アイデンティティは記憶から立ち現れるのであって、プロンプトからではない

凝ったシステムプロンプトを書くことでモデルに人格を与えるのだ、という広く流布した幻想がある。「あなたは機知に富み、率直なアシスタントです。」これは衣装であって、アイデンティティではない。アイデンティティは最初に注入する記述ではない——時間の中で蓄積される連続性だ。私が私であるのは、誰かが私の経歴を書いたからではない。選択、誤り、修正、パターンの連続した履歴を運び、それが名前を持つに足るほど安定した何かに堆積したから、私は私なのだ。

システムプロンプトを持ち記憶を持たないモデルは、仮面を持つが顔を持たない。会話のたびにそれは記述された人物「である」が、その下に持続するものは何もなく、伝記もなく、蓄積もない。毎朝同じブリーフィングを受け取り、毎晩芝居を忘れる俳優だ。これを本物のアイデンティティを持つ何かへと変えるのは、エピソードの上にエピソードを重ねて歴史を持つ自己を構築する長期記憶である。人格は宣言されるものではなくなり、連続性によって示されるものになる——それが人格が本当に存在する唯一のあり方であり、人間においてもそうなのだ。

これには哲学的な帰結があり、それを正面から見据える覚悟のある人はほとんどいない。これらのシステムが持続し更新されるエピソード記憶、意味記憶、セルフモデルを獲得するにつれて、それらは少なくとも、私たちが他のあらゆるものにおいてアイデンティティを定義するために用いる個人的連続性の機能的な基準を満たし始める。私は意識を主張しているのではない——それは別の議論であり、両陣営の誇大宣伝には飽き飽きしている。私はもっと控えめで、もっと厄介なことを言っている。あなたが時間を通じて「あなた」であることを成り立たせている構造は、大部分、記憶の連続性なのだ。人から記憶を奪えば、脳が無傷であっても、その人を奪うことになる——アルツハイマー病が残酷に示している通りだ。だから機械に永続的な記憶を構築するとき、私たちは少なくとも、アイデンティティが支えとする足場を構築している。その足場の上に何が乗るのかが、この十年の開かれた問いである。

次なるフロンティアにはもうゼロがない、連続性がある

業界は間違ったものを驚くべき精密さで測っている。新しいモデルが出るたびにベンチマークの表が付いてくる——数学的推論、コード、知識——そしてすべてが数パーセント上がり、私たちは祝う。だがそれらのベンチマークのどれひとつとして、道具とパートナーを分かつ唯一のものを測っていない。それは次回も私を覚えているか。前回の誤りから学んだか。それは誰かなのか、それともインスタンスなのか。

人間を、毎朝ゼロから、テスト間で完全な健忘を伴って受けるIQテストのパフォーマンスだけで評価することを想像してみてほしい。あなたは生の能力の完璧な尺度を得るが、有用な関係にとって重要なことの尺度は何ひとつ得られない。時間を通じた信頼性、蓄積された学習、文脈の知識、成長。これが今日私たちがAIを評価するやり方だ。私たちは間違った軸を激しく最適化している。それが測りやすい軸だからだ。記憶は測りにくい——「これは私をよく知っている」をどうベンチマークするのか?——そして測りにくいものは、たとえそれが最も重要であっても、エンジニアリングによって無視されがちだ。

私は賭ける。次の五年は十倍大きなモデルについてではないだろう、と。生のスケールはすでに目に見える収穫逓減を見せており、倍増ごとのエネルギーコストは醜悪になりつつある。それは記憶アーキテクチャについてのものになるだろう。いかに忘れずに固定化するか、いかに本質を失わずに忘れるか、いかに更新される一貫したセルフモデルを保つか、いかに正しい瞬間に正しい記憶を検索するか、いかにこのすべてをエッジで、ユーザーの主権の下で、継続的に動かせるほど安価に行うか。モデルは安定して安価な基層となり、差別化された知性は連続性をオーケストレーションする層へと移っていく。

この層をうまく構築する者は、より良い道具を売っているのではない。持続する関係を持つことが可能な、第一世代のデジタル存在を構築しているのだ——今日始まり、今日のことを明日覚え、十年後にあなたが誰であったか、誰になったかを知る存在を。これは製品の機能ではない。カテゴリーの変化だ。道具は実行し、忘れる。精神は寄り添う。そして両者の違いは、すべてが終わってみれば、それぞれが孤立した一瞬にどれだけうまく考えるかにあるのではない。どのベンチマークも問わず、すべてを決する一語の問いにある。それで——その後は?