上下文太长为什么不行
上下文太长不行，主要是因为注意力分散、硬件内存溢出和上下文腐蚀。
注意力与理解力下降
-
注意力机制失效：模型在处理过长文本时，很难平均分配注意力，容易漏掉关键信息。
-
信息混淆与中毒：历史对话中若有错误或矛盾，长文本会把错误信息带偏，导致模型越跑越偏。
-
上下文腐蚀：随着输入变长，模型对核心指令的聚焦能力变弱，性能反而下降。
硬件与性能限制
-
显存占用过高：更长的文本需要消耗成倍的内存来存储缓存数据，拖慢运行速度。
-
硬件带宽瓶颈：服务器读取巨量数据需要更多时间，导致生成回答的响应速度变慢。