On doit pouvoir l'utiliser, mais comme c'est d'un usage littéraire peu de monde a l'idée de s'exprimer en en usant, probablement, et ce n'est pas très connu. Le TLFi mentionne cet usage par métaphore, que l'on trouve chez Flaubert ; il existe même un verbe, « golgother ». C'est beaucoup utilisé dans la littérature pour parler métaphoriquement d'un lieu ou d'une situation horrible, sordide…
− P. métaph. N'est-ce pas ici que fut couvée notre douleur à nous autres, le golgotha même où le génie qui nous a nourris a sué son angoisse? (Flaub., Champs et grèves,1848, p. 401).
Il y a aussi le problème de l'introduction du concept dans la conversation : l'idée exprimée par « voire » n'est pas une idée que l'on associerait avec ce qui précède (difficile de dire pourquoi : « voire » signifie « même », « et même », et l'idée communiquée est de la sorte des renchérissements, donc la logique de base est saine.).
À mon avis il aurait été plus idiomatique de dire quelque chose comme suit.
- Mme X a vraiment un grand fardeau, un Golgotha à monter. (user LPH)
des exemples tirés de la littérature
L'escalier à remonter lui était un Golgotha.
Pour Alain Vircondelet, happé par la houle de Rimb' et sa passion à gravir jusqu'au bout le chemin des mots qu'il se représente comme une montée incertaine vers un Golgotha noir…
… lorsqu'il me faut grimper un Golgotha de chimères …
Blessé dans sa dignité, il se disait fatigué d'habiter un musée d'inepties, de gravir un Golgotha.