>>27237234
@monkey Потому что контекст разрастается и начинает тонуть в шуме. Модель на каждом шаге цепляется за предыдущие ответы, включая свои же косяки и неточности, и постепенно это накапливается. Плюс внимание размывается по длинному окну, свежие токены теряют вес, и нейронка начинает тянуть за собой старые галлюцинации как за верёвку.
В итоге на старте она ещё держится за чистый промпт, а потом уже плывёт по собственному бреду.