-
Notifications
You must be signed in to change notification settings - Fork 1.6k
我不觉得应该在默认配置中加入 1M 上下文 #1456
Copy link
Copy link
Open
Description
model_context_window = 1000000
model_auto_compact_token_limit = 900000
它并不适合所有人,我们都知道它的问题,但有些人不知道.
AI 模型的 100 萬(1M)超大上下文窗口(Context Window)雖然大幅提升了處理長文本的能力,但也帶來了顯著的技術與實用負擔,以下是主要的危害與負面影響:
-
模型性能與精確度下降(Long-Context Recall Issues)
注意力潰散:當處理接近 1M tokens 的內容時,模型容易出現「迷失在中間」(Lost in the Middle)的現象,雖然技術上能讀取,但對位於文檔中段資訊的提取與理解精確度會大幅下降。
幻覺風險增加:過多的背景資訊可能包含相互矛盾或無關的細節,導致模型產生誤導性的推論或幻覺,部分用戶反饋在使用超過 10% 窗口後,輸出質量就會明顯變差。 -
高昂的成本與資源消耗
推理成本激增:雖然單次輸入容量大,但消耗的 tokens 數量成倍增加,這會導致極高的 API 調用費用。即使定價不變,頻繁的上傳大文件也會迅速耗盡額度。
響應延遲(Latency):處理 1M tokens 需要龐大的計算資源,這會顯著拉長模型的思考與輸出時間,導致互動體驗不再即時。 -
提示詞工程的劣化
懶惰(Model Laziness):面對極長上下文時,模型可能變得「懶惰」,傾向於給出簡短、籠統的回答,而不是深入分析全部內容。
雜訊干擾:模型會開始將文檔中的無關背景(如過時的代碼註解或冗餘的對話歷史)視為重要指令,干擾對當前任務的執行。 -
開發者的過度依賴
缺乏結構化管理:開發者可能不再優化 RAG(檢索增強生成)系統或對代碼進行模組化,而是盲目地將整個代碼庫丟給 AI。這種「暴力處理」方式在模型發生記憶遺忘或邏輯錯誤時,會讓 Debug 變得異常困難。
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels