Commençons par regarder les définitions des deux prépositions en jeu
La préposition à « introduit un complément marquant un rapport de direction, de destination, de lieu d'appartenance, de moyen, de manière ou de temps. »source On retrouve environ la même définition dans le Larousse, la principale différence est que celui-ci ajoute « l'utilisation de à pour marquer la caractérisation » (c'est ce qui rend le choix entre les expressions plus difficile).
La préposition de « [marque] l'origine, le lieu, la cause, la manière ou le mode d'action, la qualité, ou introduisant un complément d'objet indirect. »source C'est aussi ce qu'écrit le Larousse.
Toute accentuation est mienne
Revenons à nos moutons
Dans notre cas, je dirais que la factorisation représente, selon moi, une qualité1 de l'algèbre. On vient ici qualifier un sous ensemble de l'algèbre s'attachant à la factorisation. Sachant cela, on est directement dans la définition du de. Par conter, le mot caractéristique est très près de qualité et donc puisque à peut marquer la caractérisation l'expression serait aussi acceptable.
Personnellement, j'opterais pour algèbre de factorisation. Toutefois, tel que soulevé par Stéphane, surtout en algèbre, l'expression de est souvent utilisée pour caractériser les éléments utilisés par la dite algèbre, par exemple algèbre d'ensembles ou algèbre de processus. Alors, pour être sûr d'enlever l’ambiguïté j'opterais pour
algèbre de la factorisation
Le de la vient préciser que c'est l'algèbre qui traite du sujet de la factorisation.
1Caractéristique de nature, bonne ou mauvaise, d'une chose ou d'une personne.