يُحكى أنَّ فضيلاً كان في أوَّل أمره يقطع الطريق بين أبيورد وسرخس ، وعشق جاريةً ، فبينما يرتقي الجدران إليها سمع تالياً يتلو: (أَلَمْ يَأْنِ لِلَّذِينَ آمَنُوا أَن تَخْشَعَ قُلُوبُهُمْ لِذِكْرِ اللَّهِ ...) ، فقال : يا رَبِّ ، قد آن .
فرجع وآوى إلى خَربةٍ ، فإذا فيها رُفقةٌ .
فقال بعضهم : نرتحل .
وقال بعضهم : حتَّى نُصبح ؛ فإنّ فضيلاً على الطريق يقطع علينا .