La question du « pourquoi » une langue a telle ou telle caractéristique me semble un peu vaine. En dehors des décisions qui relèveraient d'une instance désirant contrôler la langue utilisée par les sujets qu'elle gouverne et interdirait ou imposerait telle ou telle tournure grammaticale ou lexicale, une langue évolue, en général très lentement, et sous le biais de diverses influences qui peuvent aller des catastrophes naturelles aux flux migratoires internes ou venant de l'extérieur de la zone linguistique.
Pourquoi le passé simple a-t-il peu à peu disparu de la langue orale ? Je me risquerai à quelques spéculations. Peut-être parce que d'autres temps ont pris les valeurs qu'il exprimait et qu'il n'était du coup plus indispensable.
Le passé composé, d'apparition plus récente dans l'histoire de la langue française a supplanté le passé simple, à l'écrit d'abord, et la disparition relative du passé simple des textes écrits a entraîné, sa disparition quasi complète de l'oral. Du fait de son utilisation moins fréquente le passé simple est apparu comme plus littéraire.
Le passé simple n'exprime pas les mêmes valeurs en espagnol, et donc toute comparaison de fréquences dans l'une et l'autre langue ne peut pas se faire. Si passé simple français et espagnol ont bien la même origine dans le parfait latin, les deux langues ont évolué différemment.
Par contre bien sûr l'évolution d'une langue peut être plus ou moins bien retracée de façon historique. Marcel Cohen a écrit une très bonne histoire du français : Histoire d'une langue, le français d'où je tire quelques souvenirs.
Le passé simple trouve son origine dans le parfait latin. Le parfait latin (temps simple) correspond à la fois au passé simple et au passé composé français actuel.
En ancien français il y avait hésitation entre les appellations parfait et passé simple mais l'appellation parfait est préférée car il s'agit bien avec ce temps d'exprimer un fait passé sans relation avec le présent. Le passé composé est apparu plus récemment que le passé simple mais s'employait bien sûr déjà en ancien français.
Il semblerait qu'un tournant de l'histoire des temps du passé se trouve au 17ème siècle. Je cite quelques extraits de Marcel Cohen :
[...] Pour l'emploi des temps, le point intéressant au cours du
17ème siècle est la distinction entre le passé simple
(défini) et le passé composé (indéfini) de l'indicatif. Au
16ème siècle [...] on avait imaginé que le passé indéfini
exprimait une action du jour, le passé défini une action datant de la
veille au moins. Au début du 17ème siècle, des grammairiens
ont mieux compris la distinction qui était celle de leur temps : le
passé défini exprimait une action complètement passée dans une
longueur quelconque entièrement écoulée "je fis ce matin, l'année
dernière"; le passé indéfini était employé pour un temps non achevé,
"j'ai fait aujourd’hui, cette année" ; c'était donc l'expression d'un
aspect accompli avec un résultat durant encore. Mais il semble que dès
la seconde moitié du siècle, au moins dans la langue parlée, le passé
indéfini ait pris, en plus de son sens propre, le sens de passé
simple, dont il a restreint l'emploi. (p. 194-195)
Quelques cent pages plus loin il souligne la disparition progressive du passé simple en faveur de l'imparfait dans les romans du 19ème siècle, en particulier chez Zola, à cause de l'emploi de plus en plus grand du discours indirect.
Voici par ailleurs ce que dit Marcel Cohen dans son édition de 1973 au sujet de la disparition du passé simple :
« ... le passé simple ou défini est sorti de l'usage parlé
parisien, le passé composé ou indéfini étant employé en toutes
circonstances [...] Mais ce temps a continué à s'employer pour le
récit écrit dans les romans, les livres d'histoire, les articles de
journaux. C'est une forme grammaticale qui marque nettement la
différence entre la langue écrite et la langue parlée. Bien rare sont
les auteurs qui ont décidé de ne pas écrire le passé simple. [...]
Mais il ajoute :
La situation paraît être en train de changer. D'abord le passé défini
apparaît quelques fois dans la bouche d'orateurs, de professeurs en
chaire, de speakers de radio pour des occasions plus ou moins
solennelles. D'autres part, des instituteurs et professeurs, des
écoliers et élèves de lycée, des journalistes et des écrivains à style
familier ont commencé à entremêler assez souvent dans le même récit
les deux sortes de passé, non point sans doute au hasard, mais avec
des nuances d'emploi difficiles à définir.
Je reprendrai maintenant quelques pistes, parmi les très nombreuses évoquées, trouvées dans le mémoire de maîtrise d'un étudiant Suédois intitulé Disparition du passé simple en français oral.
Dans son travail cet étudiant introduit l'idée que l'usage de la règle des 24 heures (voir citation de Cohen plus haut) pourrait être considérée comme une des causes lointaines possibles de la disparition du passé simple dans la langue orale qui d'habitude s'intéresse aux événements récents.
Il fait aussi de nombreuses références au travail du chercheur M. Van Vliet (« * The disappearance of the French passé simple: A morphological and
sociolinguistic study* » 1983) qui constate également qu’il existe une tendance qui favorise la régularisation du système verbal français en transformant les terminaisons verbales en marqueurs préfixés. Van Vliet dit que le nombre de formes composées dans la langue française est plus élevé qu’avant et que celui des formes simples a baissé de 50%.
Selon Van Vliet encore il y aurait aussi des raisons phonétiques à la disparition du passé simple et pour certaines de ces raisons fait la comparaison avec l'espagnol :
il s’est passé un changement dans la prononciation de la langue
française entre le 12e et le 16e siècle, qui consiste en la
disparition des consonnes finales. Après cela, les voyelles finales
ont été réduites en schwa, le précédent du « e muet » de nos jours,
qui de son tour a disparu. [...] Le résultat de ces changements
phonétiques est que les pronoms sont toujours préfixés en français,
sauf à l’impératif, et qu’ils sont essentiels pour la bonne
compréhension à l’oral, comme la forme verbale n’aide plus à
distinguer le sens. Ce développement est unique parmi les langues
romanes. L’espagnol et l’occitan, par exemple, gardent toujours les
consonnes finales dans la prononciation. En espagnol, l’utilisation
des pronoms n’est pas nécessaire. Le français diffère également des
autres langues romanes dans un autre sens ; dans la plupart des
langues romanes, le passé simple et le passé composé ont toujours des
fonctions différentes et tous les deux existent à l’oral, tandis qu’en
français ce n’est pas le cas.
Je ne citerai bien sûr pas les 60 pages de ce mémoire, pour ceux qui sont intéressés, il suffit de suivre le lien mais je donne sa phrase de conclusion :
Quant au passé simple, ce travail atteste sûrement de ses derniers
moments d’existence à l’oral, après lesquels il a définitivement perdu
la lutte remontant loin dans le temps contre le passé composé.
Et rendez-vous dans cent ans ?
A brief summary of the above in English :
As to why a language has such and such linguistics traits is - irrespective of any arbitrary decision of political instances deciding for the people - a matter of looking into the evolution of the language. And evolution of any language is a very slow process in which lots of factors interact, such as natural phenomenons and population migrations, but not only of course.
My first reaction is to say that the passé simple has been disappearing because it was no longer neceded since other ways of expressing the same values were in time found in other tenses. And as it started to rarefy in written French it tended to disappear from oral language.
Most of my reminiscences on that matter are from Marcel Cohen's Histoire d'une langue, le français. And after doing some research to answer OP's question I hit upon a research paper on oral French from a Swedish researcher about the disappearance of the passé simple.
The French passé simple is a simple tense (i.e. built without an auxiliary) and has its origin in the latin perfect tense. This latin perfect tense expresses both French tenses we nowadays call passé simple and passé composé. For a long time, well into the Middle Ages, passé simple was called parfait because that tense expresses the value of an action that is entirely cut from the present. Passé composé appeared at a much later time than passé simple but is found in Old French.
Precedence of the use of the passé composé over the passé simple took place around the end of the 17th century. And in the 19th century as novelists used a lot of indirect speech in place of dialogues, imparfait took more and more place in written French.
Some have also pointed out phonetical reasons to the gradual disappearance of the passé simple. Consonants were no longer sounded at the end of words, which consequently reduced final vowels to a schwa which disappeared in its turn. And that apparently seems to be a unique phenomenon in romance languages. It is given as the reason why indication of the person can't be given by the suffix of the verb and subject personal pronouns have to be used in French.
In romance languages other than French it appears as well that passé simple and passé composé have retained different values and therefore they're used in both, written and oral forms.