জিল্লুর রহমান ১৯২৯ সালের ৯ মার্চ কিশোরগঞ্জ জেলার ভৈরবে জন্মগ্রহণ করেন। তার বাবা মেহের আলী মিঞা ছিলেন একজন আইনজীবী, তৎকালীন ময়মনসিংহের লোকাল বোর্ডের চেয়ারম্যান এবং জেলা বোর্ডের সদস্য। বাড়ীর পাশের ভৈরব আদর্শ প্রাথমিক বিদ্যালয়ে জিল্লুর রহমানের প্রাথমিক শিক্ষা শুরু হয়। সেখান থেকে পাশ করে ১৯৪১ সালে তিনি তিনি ভৈরব কে.বি পাইলট মডেল হাই স্কুলে চলে যান।

১৯৪৬ সালে মাধ্যমিক পাশের পর ঢাকা ইন্টারমিডিয়েট কলেজ থেকে আইএ পাশ করেন জিল্লুর রহমান। ঢাকা বিশ্ববিদ্যালয় হতে আইন বিষয়ে স্নাতক এবং ইতিহাস বিষয়ে স্নাতকোত্তর ডিগ্রি লাভ করেন। ১৯৭০ সালে তিনি পাকিস্তান জাতীয় পরিষদের সদস্য (এমএনএ) নির্বাচিত হন। কিশোরগঞ্জ আওয়ামী লীগের প্রতিষ্ঠাতা সভাপতি ছাড়াও জিল্লুর রহমান আওয়ামী লীগের সাধারণ সম্পাদক, সভাপতিমণ্ডলীর সদস্যসহ বিভিন্ন সময়ে দলের গুরুত্বপূর্ণ দায়িত্বে ছিলেন তিনি।

২০০৬ সালের ১১ জানুয়ারি ফখরুদ্দীন আহমদের তত্ত্বাবধায়ক সরকার দায়িত্ব নিলে যখন শেখ হাসিনা গ্রেফতার হন তারপর থেকেই জিল্লুর রহমান বাংলাদেশ আওয়ামী লীগের হাল ধরেন। ২০০৮ সালের নবম জাতীয় সংসদ নির্বাচনে শেখ হাসিনার নেতৃত্বাধীন ১৪-দলীয় মহাজোট বিপুল ভোটে জয়লাভ করে। নবম জাতীয় সংসদে জিল্লুর রহমান সংসদ উপনেতা নির্বাচিত হন।

পরবর্তীতে বাংলাদেশ আওয়ামী লীগ তাকে রাষ্ট্রপতি নির্বাচনে প্রার্থী হিসেবে মনোনয়ন দেন। তিনি বিনা প্রতিদ্বন্দ্বিতায় ২০০৯ সালে বাংলাদেশের ১৯-তম রাষ্ট্রপতি হিসেবে নির্বাচিত হন এবং ১২ ফেব্রুয়ারি ২০০৯ শপথ গ্রহণের মাধ্যমে দায়িত্ব গ্রহণ করেন।বাংলাদেশের ১৭-তম রাষ্ট্রপতি ইয়াজউদ্দিন আহম্মেদের মেয়াদ ছিল ২০০৭ সালের ৫ সেপ্টেম্বর পর্যন্ত। নবম সংসদ নির্বাচন বিলম্বিত হওয়ায় তার মেয়াদও দীর্ঘায়িত হয়।

জিল্লুর রহমান বর্তমান সংসদ সদস্য ও বাংলাদেশ ক্রিকেট বোর্ডের বর্তমান সভাপতি নাজমুল হাসান পাপন এবং তানিয়া ও ময়না নামে দুই কন্যা সন্তানের জনক। ২০০৪ সালের ২১ আগস্ট রাজধানী ঢাকার বঙ্গবন্ধু এভিনিউয়ে আওয়ামী লীগের সমাবেশে গ্রেনেড হামলায় তার সহধর্মিনী ও মহিলা আওয়ামী লীগের তৎকালীন সভানেত্রী আইভি রহমানকে হারান জিল্লুর রহমান। 

দীর্ঘদিন রোগে আক্রান্ত হয়ে ১০ মার্চ, ২০১৩ তারিখে সিঙ্গাপুরের মাউন্ট এলিজাবেথ হাসপাতালে কিডনি ও মূত্রপ্রদাহে আক্রান্তজনিত কারণে উন্নত চিকিৎসার জন্য ভর্তি হন জিল্লুর রহমান। অতঃপর ২০ মার্চ তার দেহাবসান ঘটে।