أصله من المدينة، وولد بالبصرة سنة إحدى وستين ومائة.
وسمع من: أبيه، وحماد بن زيد، وجعفر بن سليمان الضُّبَعيّ، وسفيان بن عيينة، وعبد اللّه بن وهب، وعبد الرحمان بن مهدي، وعبد الرزاق بن همام الصنعاني، وعبد العزيز بن أبي حازم، وعبد الوارث بن سعيد، وأبي نُعيم الفضل ابن دُكين، ويحيى بن سعيد القطان، وطائفة.
روى عنه: أحمد بن حنبل، وسفيان بن عيينة وهو من شيوخه، وابنه عبد اللّه ابن علي بن المديني، وأبو قِلابة عبد الملك بن محمد الرَّقاشي، وعثمان بن محمد بن أبي شيبة، وأبو حاتم محمد بن إدريس الرازي، ومحمد بن إسماعيل البخاري، ومحمد بن يحيى الذُّهلي، ويعقوب بن شيبة السدوسي، وخلق.
وكان أحد كبار رجال الحديث، فقيهاً، حافظاً، عالماً بالحديث وعلله، ويقال: إنّ تصانيفه بلغت مائتي مصنف.
وقد صنّف «المسند» مستقصًى، وخلّفه في المنزل، وغاب في الرحلة، فخالطته الاَرَضَة، فلم ينشط بعدُ لجمعه.
قال أبو يحيى محمد بن عبد الرحيم: كان عليٌّ إذا قدم بغداد، وتصدر الحلقة، وجاء ابن معين، وأحمد بن حنبل، والمُعَيْطي، والناس يتناظرون، فإذا اختلفوا في شيء، تكلّم فيه عليّ.