ورتب لنفسه رجلًا من أهل العلم شيخًا عارفًا بالقرآن والنحو، حافظًا كتاب السيرافي، فكان يبيت عنده، ويصلي به، ويقرأ عليه.
ولم تزل حاله تزيد وتنمو مع كافور إلى أن توفي كافور، فقبض وزيره على جميع الكتاب وأصحاب الدواوين، وقبض يعقوب بن كلّس في جملتهم للحسد، فلم يزل ابن كلس يتوصل، ويبذل المال، حتى أفرج عنه، فلما خرج من الاعتقال اقترض من أخيه وغيره مالًا، وتحمل به وسار مستخفيًا، قاصدًا بلاد المغرب، فلقي جوهرًا - مولى المعز - في الطريق، وهو متوجه بالعساكر والخزائن إلى الديار المصرية ليملكها، فرجع صحبته. وقيل: إنه استمر على قصده، وانتهى إلى إفريقية، وتعلّق بخدمة المعز، ثم رجع إلى الديار المصرية، ولم يزل يترقى إلى أن ولي الوزارة، وزيرًا للدولة الفاطمية بالديار المصرية، وكان من جملة كتاب كافور، فلما وصل المعز، أحسن في خدمته، وبالغ في طاعته، حتى استوزره.
وقال غيره: كان ابن كلس يحب أهل العلم، ويجمع عنده العلماء ورتب لنفسه مجلسًا كل ليلة جمعة، ويقرأ فيه بنفسه، مصنفاته، ويحضره القضاة، والفقهاء، والعلماء، والنحاة، وجميع أرباب الدولة، وأعيان العدول، وغيرهم من وجوه الدولة، وأصحاب الحديث، فإذا فرغ من مجلسه، أقام وشعراء ينشدونه المدائح.
وكان في داره قوم يكتبون القرآن، وآخرون يكتبون الحديث والفقه والأدب حتى الطلب، ويعارضون ويشكلون المصاحف، وينقطونها، وكان من جملة جلسائه الحسين ابن عبد الرحيم الزلازلي - مصنف كتاب الأسجاع -.
ورتب في داره القرآن … يصلون في مسجد اتخذه في داره، وأقام فيها أيضًا المطابخ لغلمانه وحاشيته وأتباعه، وكان ينصب كل يوم خوانًا لخاصة من أهل العلم والكتاب، ومن يستدعيه، وينصب مائدة عادته يأكل عليها الحجاب، ولا يخاطب أحدًا منهم إلا بالقائد، وكان من جملتهم القائد أبو الفتوح فضل بن صالح الذي ينتسب إليه القائد فضل، وهي بالأعمال الجيزية من أعمال … ثم شرع الوزير يعقوب في تحصيل داره ودروب … بالحرس والدروب بالحرس والعدد، وعمرت بأخيه بالأسواق، وأصناف ما يباع من الأطعمة، ومن المطعوم، والمشروب، والملبوس.
ويقال: إنَّ داره كانت بالقاهرة في موضع مدرسة الوزير صفي الدين شكر المختصة بالطائفة المالكية، وإنَّ الجادة المعروفة بالوزيرية التي بالقاهرة منسوبة لأصحابهم، لأنهم كانوا يسكنونها، وكان الوزير ابن الفرات يغدو إليه ويروح، ويقرأ عليه محاسبات القوم الذين يريد محاسبتهم، ويقول عليه فيها، ويجلس معه في مجلسه، وربما حبسه لمؤاكلته، فيأكل معه بعد أن جرى عليه منه ما سبق ذكره، وكانت هيبته عظيمة، وجوده وافرًا، وأكثر الشعراء مدحه.