Ici, je pense que dont lie d'abord François et la mère. On pourrait remplacer par:
La mère de François traduit un livre.
Mais il se trouve que le livre pourrait avoir été écrit par le même François, ou non. Il y a ambiguïté sur l'auteur (ou le propriétaire) du livre. Il s'agit bien d'un pronom relatif complément à la fois du sujet (mère) et du complément d'objet (livre) dans la subordonnée relative (LBU 14ème édition, §724.d, p932). Un exemple similaire donné par LBU:
Il plaignit les pauvres femmes dont les époux gaspillent la fortune (Flaubert, Educ., II,5).
Notez qu'ici, dont se rapporte à la fois aux femmes et à leurs fortunes, ou tout du moins, je pense que c'est le sens qu'un locuteur français natif choisirait par défaut.
Pour en revenir à l'exemple de l'OP, je ne pense pas qu'il y ait ambiguïté sur le fait qu'on parle de la mère de François. Pour parler de la mère de quelqu'un d'autre, il faudrait dire, par exemple:
... François dont ma mère traduit un livre.
LBU donne un exemple où un pronom possessif est utilisé pour lever l'ambiguïté:
Cette malheureuse créature, dont la mort prématurée attriste aujourd'hui sa famille (Hello, Contes extraordinaires, Regard du Juge, op. cit. p932).
Toutefois, on ne peut pas toujours utiliser un pronom possessif pour lever l'ambiguïté:
... François dont ma mère traduit son livre.
ne sonne pas très bien, quoique grammaticalement correct.
Pour en revenir à l'ambiguïté de l'OP, le contexte pourrait aider en précisant le statut de ce livre, ou le statut d'écrivain de François.
Si les pronoms possessifs ou le contexte ne suffisent pas, il va falloir recourir à une phrase plus compliquée. On pourrait par exemple arrêter une première phrase après François et en commencer une autre:
Sans précision sur l'auteur du livre:
Hier, j'ai rencontré François. Sa mère traduit un livre.
Avec toujours une petite ambiguïté, on ne sait pas si l'auteur est François ou sa mère:
Hier, j'ai rencontré François. Sa mère traduit son dernier livre.
Sans aucune ambiguïté:
Hier, j'ai rencontré François. Sa mère traduit le dernier livre qu'il a écrit.
On pourrait alors revenir à une construction avec dont à partir du dernier exemple:
Hier, j'ai rencontré François, dont la mère traduit un des livres qu'il a écrits.
ou - si la mère est l'auteur du livre:
Hier, j'ai rencontré François, dont la mère traduit un des livres qu'elle a écrits.
On peut aussi lever l'ambiguïté de la façon suivante:
... François, dont un livre est traduit par sa mère.
On pourrait aussi dire (sens différent, bien entendu):
... François, dont un livre est traduit par ma mère.
Mais, la phrase suivante:
... François, dont un livre est traduit par la mère.
peut être perçue comme un peu bancale. Ce la mère ne sonne pas très bien, à mon avis.
Je n'ai pas trouvé de règle générale dans les grammaires que j'ai consultées (est-ce un cas fréquent?). LBU note l'ambiguïté du pronom relatif complément à la fois du sujet et de l'objet direct ou de l'attribut, mais ne mentionne pas de règle générale. La mention d'un "pronom complément à la fois du sujet et de l'objet direct" semble reconnaître de façon implicite une "règle" selon laquelle le pronom relatif dont se rapporterait aux deux simultanément.
En effet, je dirais qu'instinctivement et par défaut - a priori -, on comprend l'antécédent de dont comme un complément à la fois du sujet de l'objet direct. Suivant cette règle, il n'y aurait pas vraiment ambiguïté au premier abord, mais force est de constater qu'il y a bien ambiguïté si l'on y réfléchit un peu. Pour ce qui est de la mère, c'est bien celle de François, cela n'est pas ambiguë. Pour ce qui est du livre, il n'y a pas de certitude, tout au moins dans la phrase telle que présentée par l'OP, sans aucun contexte, et il faut recourir à un pronom possessif, ou à une construction plus élaborée pour éviter l'ambiguïté.