L'usage compte autant que la traduction littérale. Nous ne nous y sommes pas amusés est tout à fait correct, et même employé. C'est cependant une tournure soit très formelle, soit un peu scolaire. Au quotidien, il est courant, en ce genre de situation, de qualifier l'activité elle-même plutôt que le ressenti que l'on en a:
Ce n'était pas amusant (car l'eau était trop froide).
It wasn't funny (because the water was too cold).
Cela sonne plus naturel à mes oreilles.
Le nous est suggéré par le fait de qualifier l'activité: la phrase décrit un ressenti, celui que nous avons.
Le there, objet de la question, est également implicite. Il est induit par ce, employé sous la forme suivante :TLF, I.-A.-1.
Quelque chose de précis qui vient d'être dit ou qui va l'être
Ce signifie "être allé à la piscine", et indique donc le lieu que l'on voudrait identifier par there, en anglais.
Nous ne nous y sommes pas amusés is absolutely correct, and is used. In terms of usage however, it sounds either quite formal or a bit academic. In such a situation, it is common that we qualify the activity itself rather than how we appreciate it:
Ce n'était pas amusant (car l'eau était trop froide).
It wasn't funny (because the water was too cold).
This sounds more natural to me.
Nous is implied by the fact we qualify the activity: this expresses a feeling, the feeling that we have.
There (subject of the question) is also implied. It is suggested by ce, defined as follows:TLF, I.-A.-1.
Quelque chose de précis qui vient d'être dit ou qui va l'être
Ce stands for "être allé à la piscine", and therefore identifies the swimming pool.
