وقال أبو يعلى: كان ذا دين، وأخا ورع، علامة، بارعًا في علم المذهب، ثم ذكر مكانته في النفوس، وتقدمه عند السلطان، وذكر أنَّ أبا بكر ذكر عند أخت معز الدولة بسوء، وأنه تغمص من علي ﵁، فاستدعته، وجمعت المتكلمين لمناظرته، فكان صوته عاليًا عليهم، وحجته ظاهرة لديهم، وأخت معز الدولة بحيث تسمع كلامه، حتى شهدت له بالفضل، وكان منها الإنكار عليهم فيما كذبوه عليه، وأضافوه إليه، وبذلت له شيئًا من المال، فامتنع من قبوله، مع خفة حاله، وقلة ما له، زهدًا وروعًا.
قال القاضي أبو يعلى حكى لنا أبو بكر أحمد بن إسحاق المعروف بابن سكينة الآزجي قال: حكى لنا الشيخ أبو الفضل بن التميمي، قال حكى لي شيخ كان يسافر في طلب الحديث أنه وقع إليَّ في خبر أن النبي ﷺ قال:«إذا كان يوم القيامة يدخل الجنة سبعون ألفًا بغير حساب» قال فسافرت كذا وكذا بلد أسأل هل هناك زيادة على هذا العدد، فما زادني أحدٌ، وكل يقول: هكذا سمعنا، فدخلت مدينة البصرة، وسألت عن ذلك، فما زادني أحدٌ، فلما كان ذات يوم نمت، وأنا تعب، فرأيت النبي ﷺ فقبلت قدمه فقال لي: يا فلان قد تعبت في هذا الخبر الذي سمعته عني فقلت له: أي والله يا رسول الله، فقال لي: امض إلى بغداد إلى جامع الخليفة سترى رجلًا واسع الجبين، جهوري الصوت، فسله عن هذه المسألة، يعني أبا بكر عبد العزيز، فإنه يجيبك، قال: فلم يحملني القعود حتى مضيت إلى بغداد، قال: فقلت في نفسي: لا سألت أحدًا عن هذا الرجل حتى أدخل الجامع، وأنظر إلى الصفة التي وصفها رسول الله ﷺ، فدخلت يوم الجمعة الجامع، فسمعت صوته، فإذا هو بالصفة التي وصفها رسول الله ﷺ، فوقفت حذاءه، وقلت له: أيها الشيخ، مسألة، فقال: اوسعوا للشيخ موضعًا إلى أن وصلت إلى بين يديه، فقال لي: اجلس، فجلست، فقال لي سرًا ألست الرجل الذي بك رسول الله ﷺ فوقعت علي الرعدة، فقلت: نعم وأمسكت، ثم قال لي: أيها الشيخ هات مسألتك، فسألت عن الحديث أن النبي ﷺ قال:«يدخل الجنة سبعون ألفًا بغير حساب» فقال لي: يا أبله، أنت والذين سألتهم، حدثنا فلان عن فلان - وذكر الإسناد - أنه إذا كان يوم القيامة، وحصل أهل الموقف يقول الله ﷾ ولا أبالي ثلاث مرات، ويحثي ثلاث حثيات، فمن قبضته أربع عشرة سماء وأرض كحبة خردل في أرض فلاة: كم مرة سبعون ألف؟
توفي يوم الجمعة لعشر بقين من شوال سنة ثلاث وستين وثلاثمائة وروي أنه قال لأصحابه في علته: أنا عندكم إلى يوم الجمعة، فقيل له: يعافيك الله أو كلامًا هذا معناه، فقال: سمعت أبا بكر الخلال يقول: سمعت أبا بكر المروذي