এ কে এম শামসুজ্জোহা ১৯২৪ সালে নারায়ণগঞ্জ জেলায় জন্মগ্রহণ করেন। তার পিতার নাম খান সাহেব এম. ওসমান আলী এবং মাতার নাম জামিলা ওসমান। তিনি ঢাকা বিশ্ববিদ্যালয় থেকে স্নাতকোত্তর ডিগ্রি অর্জন করেন। ১৯৪২ সালে তিনি নারায়ণগঞ্জ ছাত্র মুসলিম লীগের সাধারণ সম্পাদক হন ও ১৯৪৫ সালে শিক্ষা আন্দোলনে অংশগ্রহণ করেন।

১৯৪৯ সালে তিনি আওয়ামী মুসলিম লীগে সদস্য হিসেবে যোগ দেন। ১৯৫২ সালে তিনি নারায়ণগঞ্জ ভাষা সংগ্রাম পরিষদের সভাপতি হিসেবে ভাষা আন্দোলনে নেতৃত্ব দেন। ১৯৬৪ সালে নারায়ণগঞ্জ মহকুমা সাম্প্রদায়িক দাঙ্গা প্রতিরোধ কমিটির আহ্বায়কের দায়িত্ব পালন করেন।১৯৭০-এর নির্বাচনে পাকিস্তান জাতীয় পরিষদের সদস্য নির্বাচিত হন এ কে এম শামসুজ্জোহা।

১৯৭১ সালের ১৭ ডিসেম্বর তিনি মুজিবনগর সরকারের প্রতিনিধি হিসেবে প্রথম বেতার ভাষণ প্রদান করেন এবং দেশের সর্বোচ্চ আদালতে জাতীয় পতাকা উত্তোলন করেন এ কে এম শামসুজ্জোহা। স্বাধীনতা যুদ্ধের পর ১৯৭৩ সালে নারায়ণগঞ্জ থেকে তিনি জাতীয় সংসদ সদস্য নির্বাচিত হন। বঙ্গবন্ধুর হত্যাকাণ্ডের পর মন্ত্রিত্ব গ্রহণের প্রস্তাব প্রত্যাখ্যান করলে তাকে ১৮ মাস বন্দী রাখা হয়।

১৯৫০ সালে নাজিনা জোহাকে বিয়ে করেন এ কে এম শামসুজ্জোহা। তার তিন পুত্র সেলিম ওসমান ও নাসিম ওসমান জাতীয় পার্টি থেকে এবং শামীম ওসমান বাংলাদেশ আওয়ামী লীগ থেকে সংসদ সদস্য নির্বাচিত হন।১৯৮৭ সালের ২০ ফেব্রুয়ারি মারা যান এ কে এম শামসুজ্জোহা। তাকে ২০১২ সালে মরণোত্তর স্বাধীনতা পদক ২০১১ দেয়া হয়।