Formal proposition that also stays quite close to the English sentence:

Nous sommes allés la piscine, mais nous ne nous y sommes pas amusés car l'eau était trop froide

To be clear, "y" refers to "la piscine", hence the second part of the sentence is equivalent to:

nous ne nous sommes pas amusés à la piscine car ...

In an oral conversation, especially a casual one, you probably wouldn't bother with pronouncing "nous ne nous y sommes ..." and you could go for something like:

Nous sommes allés la piscine, mais l'eau était trop froide et nous ne nous sommes pas amusés

Formal proposition that also stays quite close to the English sentence:

Nous sommes allés à la piscine, mais nous ne nous y sommes pas amusés car l'eau était trop froide

To be clear, "y" refers to "la piscine", hence the second part of the sentence is equivalent to:

nous ne nous sommes pas amusés à la piscine car ...

In an oral conversation, especially a casual one, you probably wouldn't bother with pronouncing "nous ne nous y sommes ..." and you could go for something like:

Nous sommes allés à la piscine, mais l'eau était trop froide et nous ne nous sommes pas amusés