It's not the imparfait, it's the plus-que-parfait of the verb tomber. It's close to the passé composé in its uses, it's for one-off events too.
The reason of using it, is that it's in the past compared to another event.
Présent and passé composé
J'entre dans le salon. Je constate qu'il a laissé la télé allumée.
Passé composé and plus-que-parfait
Je suis entré dans le salon. J'ai constaté qu'il avait laissé la télé allumée.
Passé simple and plus-que-parfait
J'entrai dans le salon. Je constatai qu'il avait laissé la télé allumée.
Imparfait and plus-que-parfait
J'entrais dans le salon. Je constatais qu'il avait laissé la télé allumée.
It's an event in the past compared to the narrative time. So it's like even more in the past if the narrative time is already in the past.
But there is more to say about the tenses, they have many uses so it's hard to explain everything (you can tell a past event with futur antérieur for example, yeah).
But the reason in your example is that it's a past event compared to je t'ai dit which is already a past event (past events in this case, one thousand it seems).
Would Je t'ai dit mille fois que tu es tombé dedans étant petit be wrong? Not at all. I even prefer this one.
Ah, tenses...