The reason is that the verb is not "vouloir" but "vouloir de qqn" (TLFi);
(TLFi) A. − [Le plus souvent à la forme nég.] Vouloir de
1. Vouloir de qqn. Être disposé à recevoir, à accepter quelqu'un. Ne plus vouloir de qqn. (user LPH's italics)
The use of this verb has a particularity; you don't use it much in the affirmative form, mostly only the negative or with the conjunction "si", or, other possibility, when the verb is modified by an adverb;
- Nous ne voulons pas d'eux dans les cérémonies.
- Il ne veulent d'elle que lorsque elle apporte de la bière.
- S'ils veulent de vous vous aurez de la chance.
- S'ils veulent de lui, eh bien il ira à l'entrainement.
- Le patron veut bien d'elle comme assistante, mais il a un caractère si spécial qu'elle ne le supportera pas. (not any adverb: "bien", "certainement"…)
There is another form: "qqn vouloir qqn"; this one accounts for the sentence "Ils me veulent dans l'équipe." ;
A. − [Le suj. désigne une pers.]
1. Avoir la ferme intention, le souhait, le désir de
d) [Le compl. d'obj. dir. désigne une pers.]
Qqn veut qqn. Rome veut un maître.
This verb is used normally, that is both in the affirmative and the negative forms.
