Vous feriez mieux d’aller sans moi. J'aurais voulu vous accompagner, mais j'ai besoin de faire ...
{instead of}: Vous feriez mieux d’aller sans moi. Je voudrais vous accompagner, mais j'ai besoin de faire ...
In this specific instance, you can still change your mind and go with them, so it seems more logical to use Conditionnel Présent "je voudrais ... (si je pouvais)". Why is Conditionnel Passé preferred here?
If you are talking about what has already happened in the past, on the other hand, it makes perfect sense to use Conditionnel Passé "j'aurais voulu":
J'aurais voulu vous accompagner, mais j'avais besoin de faire ...