En grammaire moderne1 on dit qu'il s'agit d'un infinitif accompli, appelé infinitif passé en grammaire traditionnelle. Il désigne une action achevée ou un état qui n'est plus valable2.
Exemple :
Ce roi est mort de n'avoir pas pu te rencontrer
signifie « À un certain moment dans le passé, le roi ne pouvait pas rencontrer te. Puis, alors que cet état avait pris fin — c'est à dire alors qu'il aurait pu rencontrer te — il est mort. »
À l'inverse Ce roi est mort de ne pas pouvoir te rencontrer indique que quand il est mort il ne pouvait toujours pas rencontrer te.
De même dans Je voudrais avoir fait ce travail plus vite il est sous-entendu que le travail a déjà été fait.
En pratique3 il s'agit simplement du temps composé correspondant à l'infinitif. Les verbes se composant avec être n'en sont absolument pas exclus, mais
J'aurais aimé aller à la fête
signifie « Au moment où Je aurait pu aller à la fête, Je aurait aimé y aller ». Alors que
J'aimerais être allé à la fête
signifie « À présent que Je ne peut plus aller à la fête, Je aimerait que Je y soit allé ».
Ces deux phrases ne sont donc pas équivalentes.
1. Et par moderne, je veux dire sérieuse. Linguistique en fait. ;)
2. Bref un procès accompli.
3. En grammaire scolaire...