L'usage compte autant que la traduction littérale. Nous ne nous y sommes pas amusés est tout à fait correct, et même employé. C'est cependant une tournure soit très formelle, soit un peu scolaire. Au quotidien, il est courant, en ce genre de situation, de qualifier l'activité elle-même plutôt que le ressenti que l'on en a:
Ce n'était pas amusant (car l'eau était trop froide). [
en: It wasn't funny (because the water was too cold).]
Cela sonne plus naturel à mes oreilles.
Le nous est suggéré par le fait de qualifier l'activité: la phrase décrit un ressenti, celui que nous avons.
Le there, objet de la question, est également implicite. Il est induit par ce, employé sous la forme suivante :TLF, I.-A.-1.
Quelque chose de précis qui vient d'être dit ou qui va l'être
Cesignifie "être allé à la piscine", et indique donc le lieu que l'on voudrait identifier par there, en anglais.
Nous ne nous y sommes pas amusés is absolutely correct, and is actually in use. In terms of usage, it sounds either quite formal or a bit academical though. In such a situation, it is quite common that we qualify the activity itself rather than how we appreciate it:
Ce n'était pas amusant (car l'eau était trop froide). [
en: It wasn't funny (because the water was too cold).]
This sounds more natural to me.
Nous is implied by the fact we qualify the activity: this expresses a feeling, the feeling that we have.
There (subject of the question) is also implied. It is suggested by ce, defined as follows:TLF, I.-A.-1.
Quelque chose de précis qui vient d'être dit ou qui va l'être
Ce stands for "être allé à la piscine", and therefore identifies the swimming pool.