El Col·legi San Ildefonso (orfenat fins que va arribar la Democràcia) és un dels més antics de Madrid. Situat al principi al número 3 de la Carrera de San Francisco, va ser també conegut com Col·legi de Nens de la Doctrina i popularment anomenat dels ?Doctrinos?.
Encara que no se sap la data exacta de la seva fundació, gran part dels historiadors l'han datat en l'últim terç del segle XV, coincidint amb el regnat dels Reis Catòlics. També es desconeix per què són els seus alumnes els que canten la loteria.
Una de les possibilitats que barrejades pels responsables del centre és que els nens, coneguts com "doctrina", cantaven per les places la doctrina cristiana. Quan va tenir lloc el primer sorteig, els responsables de la loteria, en ser un col·lectiu dels més afavorits a la ciutat, van decidir que fossin aquests nens els que cantessin, rebent a canvi una almoina.