Les conjugaisons des 1er et 2e groupes ne sont pas particulièrement problématiques (à part pour la tendance à écrire -at à la 3e personne du singulier). Beaucoup de personnes hésiteront sur la conjugaison correcte des verbes irréguliers. Même pour quelqu'un qui lit beaucoup, comme cette conjugaison est une connaissance passive, et non active.
Il est si rare pour la vaste majorité des gens d'avoir à écrire un passé simple que je ne vois pas pourquoi on le leur reprocherait. La plupart des anglophones ne sauraient pas utiliser le subjonctif anglais, et j'ai connu plus de francophones que d'anglophones capable de différencier lie et lay, nous n'avons donc pas le monopole dans le domaine.
Le passé simple n'est pas nécessairement le temps où il y a le plus de variation. J'ai trouvé des variantes au futur pour asseoir, résoudre et craindre, par exemple. Je dois admettre qu'il est dur de battre les trois différentes formes attestées pour le passé simple des dérivés de traire (Ce verbe n'est plus usité, mais beaucoup de gens ont eu besoin d'un passé simple pour distraire, soustraire ou extraire!).
The conjugations of the first and second verb groups are hardly problematic (except for the a tendency to write -at at the 3rd person singular). A lot of people will hesitate on the correct conjugation of irregular verb, though, and even for an avid reader like me, that conjugation is passive, not active knowledge.
In general, it's so rare for people to actually need to write down a passé simple that I don't see why you should judge someone over it. Most English-speakers can't use the subjunctive properly, and I know more foreign than native speakers of English that can tell lie and lay apart (I can barely manage sometimes, myself), so French hardly has a monopoly on this sort of thing.
The passé simple isn't even necessarily the tense where the most variation is seen: I've found alternate future conjugations for asseoir, résoudre et craindre. Still it's hard to beat the three different forms found in the passé simple for the verbs derived from traire (That verb may have fallen out of use, but many people have needed a passé simple form for distraire, soustraire ou extraire!).