كان من المشايخ الكبار، مجاب الدعوة، يُستشفى بقبره. يقول البغداديون: قبر معروف ترياق مجرب. وهو من موالي علي بن موسى الرضا، ﵁، وكان أستاذ السري السقطي، وقد قال له يومًا:«إذا كانت لك إلى الله حاجة فأقسم عليه بي». قال أبو علي الدقاق - رحمه الله تعالى -: كان معروف الكرخي أبواه نصرانيان، فسلموا معروفًا إلى المؤدب [وهو صبي]، فكان المؤدّب يقول له: قل: «ثالث ثلاثة» ويقول معروف: بل هو واحد. فضربه المعلم يومًا ضربًا مبرحًا، فهرب معروف، فكان أبواه يقولان: ليته يرجع إلينا على أي دين يشاء، فنوافقه عليه. ثم إنه أسلم علي يدي علي بن موسى الرضا، ورجع إلى منزله، ودق الباب، فقيل: من بالباب؟. فقال: معروف. فقالوا: علي أي دين جئت؟ فقال: على الدين الحنيفي؛ فأسلم أبواه.
وقال سري السقطي: رأيت معروفًا الكرخي في النوم بعد موته، فقلت: ما فعل الله بك؟. فقال: غفر لي فقلت: بزهدك وورعك؟. قال: لا، بقبولي موعظة ابن السماك، ولزوم الفقر، ومحبتي الفقراء. وموعظة ابن السماك: ما قاله معروف: «كنت مارًا بالكوفة، فوقفت على رجل يقال له: «ابن السماك وهو يعظ الناس؛ فقال في خلال كلامه: من أعرض عن الله بكليته، أعرض الله عنه جملة، ومن أقبل على الله بقلبه، أقبل الله برحمته إليه، وأقبل بجميع وجوه الخلق إليه، ومن كان مرَّةً ومرة، فالله يرحمه وقتًا ما». فوقع كلامه في قلبي، فأقبلت على الله تعالى، وتركت جميع ما كنت عليه، إلا خدمة مولاي علي بن موسى الرضا. وذكرت هذا الكلام لمولاي، فقال: يكفيك بهذا موعظة إن اتعظت.
وقيل لمعروف في مرض موته: أوص. فقال:«إن من فتصدقوا بقميصي، فإني أريد أن أخرج من الدنيا عريانًا كما دخلتها عريانًا».
ومر بسقاء يقول: رحم الله من يشرب! - وكان ﵁ صائمًا؛ فتقدم فشرب، فقيل له: ألم تكن صائمًا؟ فقال: بلى، ولكني رجوت دعاءه.