الدين بن القطان الّذي كان له بوالده اختصاص لكنه لم ينصح له في تحفيظه الكتب و إرشاده إلى المشايخ و الاشتغال حتى أنه كان يرسل بعض أولاده إلى كبار الشيوخ .. و لا يعلمه بشي‌ء من ذلك.

و قال عنه ابن حجر: و كان له اختصاص بأبي فأسند إليه وصيته فلم يحمد تصرفه.

و تشير المصادر إلى أن نشأة الحافظ ابن حجر كانت برغم ذلك- في غاية العفّة و الصيانة و الرئاسة، و أن الخرّوبي المذكور لم يأل جهدا في رعايته و العناية بتعليمه، فكان يستصحبه معه عند مجاورته في مكّة، و ظل يرعاه إلى أن مات سنة 787 ه و كان الحافظ ابن حجر قد راهق و لم تعرف له صبوة و لم تضبط له زلّة.

و لم يدخل الكتّاب حتى أكمل خمس سنين فأكمل حفظ القرآن الكريم و له تسع سنين، و من الذين قرأ عليهم في المكتب شمس الدين بن العلاف الّذي ولى حسبة مصر وقتا و غيره.

و أكمل حفظه للقرآن على صدر الدين محمد بن محمد بن عبد الرزاق السفطي، و كان الاتجاه الثقافي السائد آنذاك يقتضي من الّذي يستظهر القرآن أن يصلّي بالناس إماما في صلاة التراويح في ليالي شهر رمضان، غير أن هذه الفرصة لم تتهيأ لابن حجر الصّبي النّابه الّذي حفظ القرآن و لم يزل في التاسعة من عمره، و هذه في الحقيقة مسألة شرعية حيث لا تجزئ صلاة المؤتمين إن لم يكن إمامهم بالغا، و مع الاختلاف النسبي في تحديد سنّ البلوغ، فإن السنة الثانية عشرة من عمر الصبي كانت تتيح له على ما يظهر أن يصلي إماما بالمسلمين إن هو حفظ القرآن الكريم، فكان عليه أن يتنظر بلوغ هذه السنّ.

و في أوّل سنة 783 اشتغل بالإعادة، و في سنة 785 أكمل الحافظ ابن حجر اثنتي عشرة سنة من عمره، و من حسن حظه أن يكون متواجدا حينئذ مع وصيه الزكي الخرّوبي في مكّة في تلك السنة فصلّى التراويح هناك.

و يمكن تصور بوادر نبوغه و شجاعته، فبقدر ما كانت مفخرة له كصبي يتقدّم إماما بالمسلمين في بيت اللَّه الحرام فإنّها كانت لحظة حاسمة و حرجة اجتازها بثبات و حسن أداء، فكانت الخيرة له في ذلك كما قال، و كان الحج يومئذ يوم الجمعة فحج و جاور في الحرم الشّريف ثم صلّى بعد ذلك بالقدس.

يظهر من استقراء تراجم الّذين عاشوا في عصر الحافظ ابن حجر أن تقليدا ثقافيا كان يسود بين أوساط التلاميذ الذين يدخلون الكتّاب و ذلك بإلزام التلاميذ بالتدرج في حفظ بعض مختصرات العلوم و الكتب و سماع بعضها الآخر، و هي التي اتفق العلماء آنذاك اعتبارها