The clear-cut explanation you gave makes the most sense here - "tournée" is not an adverb while "vite" is.
Your last remark points to what would happen if the sentence were
la lettre la plus hâtivement écrite
vs
la lettre le plus hâtivement écrite
but the original question is definitely a different, simpler case.
Note though that according to TLFi, the article can stay invariable (~genderless) to emphasize the level of excellence of something relatively to an ideal. But it is not mandatory.
mieux II.A.1.b):
Rem. 1. Lorsque le mieux précède un part./adj. au fém. ou au plur., l'art. peut rester inv. s'il s'agit d'insister sur un degré d'excellence atteint par rapport à la notion qu'exprime le part. ou l'adj., plutôt que sur les êtres ou les choses comparés entre eux.
Les intrigues le mieux concertées, quoique tissues avec tout l'art et l'expérience possible, ont quelquefois, des suites fâcheuses (BOURGES, Crépusc. dieux, 1884, p.253)