Skip to content

我不觉得应该在默认配置中加入 1M 上下文 #1456

@7788ken

Description

@7788ken

model_context_window = 1000000
model_auto_compact_token_limit = 900000

它并不适合所有人,我们都知道它的问题,但有些人不知道.

Image

AI 模型的 100 萬(1M)超大上下文窗口(Context Window)雖然大幅提升了處理長文本的能力,但也帶來了顯著的技術與實用負擔,以下是主要的危害與負面影響:

  1. 模型性能與精確度下降(Long-Context Recall Issues)
    注意力潰散:當處理接近 1M tokens 的內容時,模型容易出現「迷失在中間」(Lost in the Middle)的現象,雖然技術上能讀取,但對位於文檔中段資訊的提取與理解精確度會大幅下降。
    幻覺風險增加:過多的背景資訊可能包含相互矛盾或無關的細節,導致模型產生誤導性的推論或幻覺,部分用戶反饋在使用超過 10% 窗口後,輸出質量就會明顯變差。

  2. 高昂的成本與資源消耗
    推理成本激增:雖然單次輸入容量大,但消耗的 tokens 數量成倍增加,這會導致極高的 API 調用費用。即使定價不變,頻繁的上傳大文件也會迅速耗盡額度。
    響應延遲(Latency):處理 1M tokens 需要龐大的計算資源,這會顯著拉長模型的思考與輸出時間,導致互動體驗不再即時。

  3. 提示詞工程的劣化
    懶惰(Model Laziness):面對極長上下文時,模型可能變得「懶惰」,傾向於給出簡短、籠統的回答,而不是深入分析全部內容。
    雜訊干擾:模型會開始將文檔中的無關背景(如過時的代碼註解或冗餘的對話歷史)視為重要指令,干擾對當前任務的執行。

  4. 開發者的過度依賴
    缺乏結構化管理:開發者可能不再優化 RAG(檢索增強生成)系統或對代碼進行模組化,而是盲目地將整個代碼庫丟給 AI。這種「暴力處理」方式在模型發生記憶遺忘或邏輯錯誤時,會讓 Debug 變得異常困難。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions