关于上下文窗口的几条经验
用大模型做应用时，关于 context window 的零散记录。
- 上下文不是越长越好。窗口越大，中间位置的信息越容易被忽略（lost in the middle），关键内容尽量放在开头或结尾。
- RAG 召回的片段要去重、按相关性排序后再拼接，盲目塞满窗口只会拉高成本、稀释信号。
- 把「指令」和「资料」用明确分隔符隔开，模型更不容易把资料里的内容误当成指令执行。
- 估算成本时记得：输入 token 同样计费，长 system prompt 在高 QPS 下是隐性大头，可考虑缓存或精简。