Le terme combinatoire est un dérivé du verbe combiner (un emprunt du bas latin combinare (bini) ; la combinaison est empruntée au bas latin combinatio) suffixé en -oire et précédé d'une consonne de liaison. Si on veut le suffixer à son tour pour créer l'agent, quelle forme de base utiliserait-on puisqu'il est « assez rare » (LBU14 167a) que ce soit le mot simple sur lequel l'opération s'effectue : le radical du verbe, du nom, voire celui de leur version latine le cas échéant ; puis avec ou sans la même ou une autre consonne de liaison avant le suffixe ? C'est à mon avis pour ça qu'on a des hésitations.
Avec un radical comme combin-, par exemple, suffixé en -eur on a de la difficulté à se tenir à l'écart de termes de plus en plus attestés pour des machines, techniques (combineur, combinateur).
Le suffixe -iste (II.) peut être employé pour la profession ou le spécialiste même en l'absence d'un substantif en -isme correspondant pour l'activité en question (urbaniste (-isme) ; chimiste (chimie)). Le TLFi compte plus de 3000 mots avec cette finale nous dit-on... Le suffixe -ien (III.) peut aussi être employé pour le spécialiste, avec généralement une idée de spécialisation plus grande qu'avec le terme en -iste (TLFi) :
Ces termes entrent, pour la plupart, dans la série suivante : le nom
du domaine, de la spécialité, de la science, est en -ique (ou
-ie); l'adjectif correspondant est en -ique; le nom d'agent est en -ien. Ainsi l'esthétique/esthétique/esthéticien, la mécanique/mécanique/mécanicien, la
sémantique/sémantique/sémanticien, la
stylistique/stylistique/stylisticien, la
théologie/théologique/théologien. On remarquera que pour les mots en
-iste, la série est différente : -ie (ou -isme)/-ique/-iste. Ainsi chimie/chimique/chimiste, empirisme/empirique/empiriste. Il
y a cependant des interférences entre ces deux séries. Ainsi la
botanique/botanique/botaniste, la
linguistique/linguistique/linguiste. Les noms d'agents en -ien
indiquent en général une spécialisation plus grande que les noms
d'agents en -iste. V. aussi morphologie C 2.
[...]
2. Avec le suffixe -ique a) -ien se combine volontiers à des adjectifs ou substantifs en -ique pour former des noms d'agents en
-icien : acousticien, arithméticien, dialecticien, généticien, magicien, physicien, sémanticien, stoïcien, théoricien. b) Des formes
en -ien, comme comédien, géodésien, théologien, tragédien, sont
obtenues par commutation de suffixe avec le substantif. (infra
étymologie et histoire B 1) et non par formation sur des adjectifs qui
donneraient normalement des formes en -icien.
[...]
Le
suffixe [-ien] a été très productif au XIXe siècle et il le reste au XXe
siècle surtout pour les dérivés formés à partir de noms de personnes
et pour les noms d'agents, l'apparition de sciences et de techniques
nouvelles lui offrant un large champ d'emploi.
[ Trésor de la langue française informatisé (TLFi), entrée -ien, III,
extraits sélectionnés tirés des sections remarques, morphologie, étymologie et histoire, avec modifications de la présentation et des abréviations, retrait d'astérisques. ]
On aimerait bien le combiniste (de combinisme, dont l'histoire dépasse le cadre de la question), qui serait peut-être celui qui élabore des systèmes de combinaisons. On pourrait penser au combinaticien. On n'a pas fini de penser aux agencements possibles... Au final la mathématicien discret qu'on a déniché en commentaire n'est pas mal, si ambigu selon certains...
R. La plus grande spécialisation du spécialiste avec un terme suffixé en -ien. On ne sait pas, le combinatoriste est presque le substantif combinatoire suffixé directement en -iste et il n'est pas rare d'avoir un aménagement entre la base et un suffixe. Les nuances touchent l'adéquation avec le radical des bases utilisées pour la suffixation. Mais on (je) a de la difficulté à faire cadrer un découpage du mot avec un prototype de base au lexique, le générique mathématique est omniprésent, la suffixation d'une composition comme mathématiques combinatoires pour créer un agent donnerait peut-être des résultats différents, et on (je) trouve difficile de reconnaître la combinatoire dans combinatoricien (et en anglais on (je) lit systématiquement combinatorics comme combinatronics).