The clear-cut explanation you gave makes the most sense here - "tournée" is not an adverb while "vite" is.

Your last remark points to what would happen if the sentence were

> la lettre la plus hâtivement écrite

vs
> la lettre le plus hâtivement écrite

but the original question is definitely a different, simpler case.

Note though that according to [TLFi][1], the article can stay invariable (~genderless) to emphasize the level of excellence of something relatively to an ideal. But it is not mandatory.

*mieux* II.A.1.b):

> Rem. 1. Lorsque le mieux précède un part./adj. au fém. ou au plur.,
> l'art. peut rester inv. s'il s'agit d'insister sur un degré
> d'excellence atteint par rapport à la notion qu'exprime le part. ou
> l'adj., plutôt que sur les êtres ou les choses comparés entre eux. 
>
> *Les intrigues le mieux concertées, quoique tissues avec tout l'art et
> l'expérience possible, ont quelquefois, des suites fâcheuses (BOURGES,
> Crépusc. dieux, 1884, p.253)*


  [1]: http://stella.atilf.fr/Dendien/scripts/tlfiv5/visusel.exe?11;s=3225403200;r=1;nat=;sol=0;