كان عابداً زاهداً ناسكاً بالمدينة قبل الخلافة وقال يحيى الغساني كان عبد الملك ابن مروان كثيراً ما يجلس إلى أم الدرداء فقالت له مرة: بلغني أمير المؤمنين أنك شربت الطلاء بعد النسك والعبادة قال إي والله والدماء قد شربتها وقال نافع لقد رأيت المدينة وما بها شاب أشد تشميراً ولا أفقه ولا أنسك ولا أقرأ لكتاب الله من عبد الملك بن مروان وقال أبو الزناد: فقهاء المدينة: سعيد ابن المسيب وعبد الملك بن مروان وعروة بن الزبير وقبيصة بن ذؤيب وقال ابن عمر: ولد الناس أبناء وولد مروان أباً وقال عبدة بن نسي قيل لابن عمر: إنكم معشر أشياخ قريش يوشك أن تنقرضوا فمن نسأل بعدكم فقال: إن لمروان ابناً فيها فاسألوه وقال سحيم مولى أبي هريرة ﵁ دخل عبد الملك وهو شاب على أبي هريرة ﵁ فقال أبو هريرة هذا يملك العرب وقال عبيدة بن رياح الغساني قالت أم الدرداء لعبد الملك مازلت أتخيل هذا الأمر فيك منذ رأيتك قال وكيف ذاك قالت ما رأيت أحسن منك محدثاً ولا أعلم (١) منك مسمعاً وقال الشعبي: ما جالست أحداً إلا وجدت لي عليه الفضل إلا عبد الملك بن مروان فإني ما ذكرته حديثاً إلا وزادني فيه ولا شعراً إلا وزادني فيه.
وقال الذهبي: سمع عبد الملك من عثمان وأبي هريرة وأبي سعيد وأم سلمة وبريرة وابن عمر ومعاوية روى عنه عروة وخالد بن معدان ورجاء ابن حيوة والزهري ويونس بن ميسرة وربيعة بن يزيد وإسماعيل بن عبيد الله وحريز بن عثمان وطائفة.
وقال بكر بن عبد الله المزني: أسلم يهودي اسمه يوسف وكان قرأ الكتب فمر بدار مروان فقال: ويل لأمة محمد من أهل هذه الدار فقلت له: إلى متى؟ قال حتى تجيء رايات سود من قبل خراسان.