Je n'ai pas réussi à remonter à l'origine de l'expression. mais elle semble bien être au départ de l'argot de l'École polytechnique. Elle était déjà employée par la promotion 1938. Elle a mis un certain temps à se répandre hors de ce petit milieu ; en 1955, dans son Essai sur la langue de la réclame contemporaine, Marcel Galliot l'explique ainsi :
assez timidement : lambda, dans un emploi venu de l'argot polytechnicien : les mathématiciens ayant coutume d'employer les premières lettres de l'alphabet pour désigner des quantités connues et de réserver les dernières pour les inconnues, les lettres du milieu, et notamment le λ, s'appliquent à des grandeurs quelconques. D'où l'expression : un individu lambda [...], désignant un individu quelconque, le premier venu. Nous avons entendu plusieurs fois cette expression depuis quelques années.
Pourquoi lambda plutôt qu'une de ses proches voisines ? Je pense que c'est parce que lambda est naturellement le début d'une série (λ, μ, ν, éventuellement ξ), la lettre κ étant souvent évitée à cause du risque de confusion avec le k ou K latin.
Pour aller un peu plus loin sur l'historique, avant les années 1980, la base documentaire de Google ne contient que de rares occurrences isolées ; ensuite elle semble entrer dans la langue courante (et ne pas mériter d'explication).
Le corpus de l'université de Leipzig montre une utilisation biaisée vers des mots associés aux ordinateurs et à Internet, avec des voisins de gauche tels que contributeur, utilisateur ou visiteur. C'est en partie un artéfact du corpus (qui est composé environ pour moitié de pages web, dont notamment Wikipédia), mais le biais n'est pas particulièrement apparent pour quelconque.
