يقال إنه مولى أبي بكر الصديق رضي اللَّه عنه. و يقال: بل مولى المهدي.
و اختلف لم سمّي الخاسر،/ فقال اليزيدي: ورث من أبيه مائة ألف درهم [و أصاب من مدائح الملوك مائة ألف درهم] [5] فأنفقها كلها على الأدب [و أهله] [6].
و حكى الأصفهاني: أنه ورث من أبيه مصحفا فباعه و اشترى بثمنه طنبورا.
و ذكر الصولي أن الرشيد قال له: لم سمّيت الخاسر؟ فقال: بعت و أنا صبي مصحفا و اشتريت بثمنه شعر امرئ القيس، و قد رزقني اللَّه حفظ القرآن بعد ذلك، فقال له: فأنت الآن الرابح.