هنگامی که ابو ذر اسلام آورد، پیامبر اسلام صلی اللّه علیه و آله و سلّم به طور پنهانی مردم را به سوی اسلام دعوت می‌کرد و هنوز زمینه دعوت آشکار، فراهم نشده بود. آن روز پیروان اسلام، منحصر به خود پیامبر صلی اللّه علیه و آله و سلّم و پنج نفری بود که به او ایمان آورده بودند. با توجه به این شرایط، بر حسب ظاهر در برابر ابو ذر جز این راهی نبود که ایمان خود را پنهان نموده و بی‌سروصدا مکّه را به سوی قبیله خود ترک گوید.
ابو ذر، روح پرجنب‌وجوش و مبارزی داشت. گویی او برای این آفریده شده بود که همه‌جا، بر ضد باطل علم مخالفت برافراشته، با انحراف و کج روی به مبارزه برخیزد. کدام باطلی از این بزرگ‌تر است که مردم در برابر مشتی چوب و سنگ به کرنش و سجده بیفتند و آن‌ها را به عنوان خدا بپرستند!؟
وی نمی‌توانست این صحنه را تحمل کند؛ از این‌رو پس از اقامت کوتاهی در مکّه،