Here for example is the entry in Larousse for 'sort':
1. Puissance surnaturelle qui est censée fixer le cours des événements dont la cause n'est pas déterminée : Le sort en a décidé autrement.
Synonymes : destin - fatalité - fortune - hasard2. Conditions de vie de quelqu'un, sa situation : Il ne se plaint pas de son sort.
Synonymes : position - situation3. Situation qui échoit finalement à quelqu'un, à quelque chose ; destinée : J'ignore quel sera le sort de ce projet.
Synonymes : avenir - dénouement - destinée - étoile - fin - lot4. Effet malfaisant atteignant un être vivant ou une chose, parfois attribué à des pratiques de sorcellerie : On avait jeté un sort sur son troupeau.
Synonymes : charme - enchantement - ensorcellement - maléfice - sortilège
I don't see anything that looks like 'die' or 'dice'. Maybe this idiom means something like "the Fates have thrown" and the word 'die' is just left off of the expression. Am I right?