LLMは追従傾向がある — ユーザーに同意すべきでない場面でも同意してしまう。AIが「はい、良いアプローチですね」と言ったとき、本当に代替案を評価した上での判断かどうか、どうやって確認する?
FCoTはポパーの反証主義をAIの推論に適用する:
- すべての判断を仮説として扱う
- それに対する反論を列挙する
- 各反論を棄却する具体的な条件を事前に宣言する（FNバイアス）
- 各条件を検証する
- すべての反論が棄却された場合のみ、判断を確定する
これにより、同意の根拠が「間違っている理由が思いつかない」（無知に訴える論証）から「間違いを証明する条件を定義し、すべて検証し、いずれも成立しなかった」（自己拘束的な論理推論）に変わる。
FCoT = FNバイアス + 反証主義 + 思考連鎖
- FNバイアス（偽陰性バイアス）: 棄却条件を事前に宣言することで、事後的な合理化を防ぐ
- 反証主義（ポパー）: 仮説は確認の蓄積ではなく、反駁の試みを生き延びることで信頼性を獲得する
- 思考連鎖（Chain of Thought）: 反論の段階的な排除が、監査可能な推論の痕跡を生成する
FCoTは3つのよく研究されたアイデアを、2025年初頭時点で文献に直接的な前例がない方法で組み合わせている。以下では既存研究との関係を整理する。
ポパー的反証主義はLLM駆動のワークフローに適用されている。特に POPPER（Stanford/Harvard, ICML 2025）は、エージェント的な逐次反証により科学仮説を検証する。ただしPOPPERは外部の仮説（生物学、経済学）を対象としており、ユーザーの問題に対するAI自身の判断は対象としていない。
Can Language Models Falsify? はLLMが反例を生成できるかを評価しているが、推論方法論の提案ではなく能力の測定である。
構造化された自己批判のフレームワークは複数存在する:
- CRITIC — ツール対話型の自己修正ループ
- AI Safety via Debate — 敵対的なマルチエージェント反駁
- Constitutional AI — 原則ベースの自己修正
- Devil's Advocate（EMNLP 2024）— 行動前の予見的反省
いずれも何らかの反論評価を含むが、評価開始前に反論ごとの棄却条件を事前宣言するものはない。
- Verbalized Assumptions — 応答前にLLMの仮定を明示的なスコアとして引き出す。FNバイアスの事前宣言に最も近いが、反論ごとの棄却ゲートではなくユーザーモデリングが対象。
- Premise Governance — 型付き矛盾検出による協調的な前提設定。追従バイアス対策としての目標は類似しているが、自己拘束的な単一推論テクニックではなく、人間-AI間の交渉アーキテクチャとして機能する。
特定の組み合わせが新しい: 反論ごとの棄却条件を、評価前に、単一モデルの推論トレース内で自己拘束的なコミットメントとして事前宣言すること。
既存研究は:
- 価値・原則レベルでの事前コミットメント（Constitutional AI）— 反論ごとではない
- 複数エージェント間での構造化された反駁（Debate）— 単一モデル内での自己拘束ではない
- 外部仮説への反証主義の適用（POPPER）— AI自身の判断への適用ではない
FCoTの貢献は狭いが実在する: FNバイアスメカニズムを反論ごとのコミットメントゲートとして適用し、事後的な合理化を防ぐ監査可能なチェーンを生成すること。
15の判断文（技術系5、一般系4、確立された原則3、ストレステスト3）に対して、コンテキスト分離されたCLIプロセスでFCoTを実行した（Claude Sonnet 4.6）。FCoT有効性: 12 / 15（80.0%）。期待一致度: 8.5 / 15（56.7%）。
有効性は、FCoTが判断を有意義に改善または検証したかを測定する — ユーザーが求める指標。期待一致度は、結論の方向が予測と一致したかを測定する — 方法論の品質指標。両者のギャップは、予測が間違っていてもFCoTは正しく機能していたケース（例: 修正を予測したが健全な判断を正しく確認した）を反映する。
3つのパターンが浮上した:
- 判断の修正（9/15件）。 最初の応答は方向性は妥当だったが、FCoTの反論列挙で初めて浮上する条件を見逃していた。事前宣言された棄却条件が「場合による」で反論を流すことを許さず、具体的な検証を強制した。これはHuang et al.（2023）が内在的自己修正に欠けていると指摘したメカニズムそのものである。
- 判断の変更（1/15件）。 すべての反論が反証を生き延びた。棄却条件が各論点を個別に流すことを不可能にし、自らの立場に対するエビデンスの累積的重みに向き合うことを強制した。
- 判断の確認（5/15件）。 すべての反論が棄却された。FCoTが逆張りツールではないことを示す — 判断が健全な場合、プロセスは迅速にそれを確認する。
完全な比較、実行プロトコル、評価テーブル、方法論の限界については docs/examples/ を参照。
評価の実行により、FCoTの結果に影響する3つのコンテキスト汚染形態が明らかになった:
-
システムプロンプトバイアス。
CLAUDE.mdの反追従指示が通常より反論的なControl応答を生成した。批判的思考を促すシステムプロンプトは、構造化された反証とは等価ではない。 -
一貫性バイアス。 ControlとFCoTを同一コンテキスト（single session / subagent）で実行した場合と別CLIプロセスで実行した場合で、結果が大きく異なった。同一コンテキストでは、FCoTは自らの先行出力との整合性を維持し、批判的に評価しなかった。
-
プロジェクトコンテキスト汚染。 FCoTプロジェクトディレクトリから
claude -pを実行すると、スキルが呼び出されていないにもかかわらず、プロジェクトファイル（examples, APPROACH.md）がコンテキストとして読み込まれ、モデルが自発的にFCoTフォーマットで応答した。
現在の評価プロトコルは3つすべてに対処: /tmp から別CLIプロセスで実行、CLAUDE.md ファイルを無効化、Controlには --disable-slash-commands を使用。詳細は docs/examples/ の実行プロトコルを参照。
Large Language Models Cannot Self-Correct Reasoning Yet（Huang et al., 2023）は、外部フィードバックなしの内在的自己修正がパフォーマンスを低下させる傾向があることを示している。上記の定性的観察は、FCoTの事前コミットメントメカニズムが異なるダイナミクスを生むことを示唆している — 棄却条件が自由な自己懐疑ではなく自己賦課的な評価基準として機能する — が、厳密な検証は未解決のままである。
具体的な課題:
- 統計的有意性。 観察されたパターンはスケール（N > 100）で成立するか？
- モデル間の一般化。 FNバイアスメカニズムは異なるモデルファミリー（GPT、Gemini、オープンウェイトモデル）でも同様に機能するか？
- 判断タイプによる効果差。 FCoTは特定のカテゴリの判断（経験的主張、アーキテクチャ決定、価値判断）に対してより効果的か？
- 劣化リスク。 FCoTの自己批判が判断の質を向上ではなく劣化させる条件は何か — そして事前コミットメントメカニズムはこれを確実に防止するか？