Қарқаралы селосындағы мешіт құрылысы жөніндегі іс» деп аталатын іспарақтағы тарихи, ғылыми деректер бойынша Қарқаралыда мешіт салуға қатысты алғашқы жұмыстар аға сұлтан Құспек Таукиннің тұсында қолға алынады. Сол деректерге сүйенсек, Сібір қазақтарының шекаралық басқармасының құрылыс бөлімінің жазған қатынасында: «Қарқаралы округтік приказында осы жылы 5 қыркүйекте баяндама тыңдалып, онда аға сұлтан және басқалардың мешіт салу жөніндегі актісі қаралды», – деп жазылған.
Сондай-ақ, жоғарғы басшылар алдында мешіт салу ісі толық шешілгенше, иелік, басшылық жасау қырғыздар атынан кеңесші Қаржаубай Итқарин мен Сарғыз Доғаловқа жүктелді. Осы актіні жасағанда аға сұлтан, майор Қ.Таукин қатысып, мөрін басты. Кейін 1847 жылы 23 қазанда жолдаған хатында ол: «Мешіт құрылысына жаңадан салынған магазиндердің қарама-қарсы жағынан, шығыс жақтағы далалық алаңқайдан 60 метрдей жерден орын таңдап алдық. Осы жерді бекітіп беруіңізді сұраймыз», –деп жазды. Мұрағат құжаттарына сүйенсек, қаражаттың жиналғанына қарамастан, мешіт құрылысы 1849 жылдың аяғына дейін белгісіз себептермен басталмаған.
Бәлкім, Құнанбай мешіт салуға бөлінген жердің қолайсыздығын аңғарып, қайткенде дұрыс орын таңдау амалдарын іздеген шығар. Өйткені, 1850 жылдың 7 қаңтарында Сібір қырғыздарының шекара начальнигі, полковник және кавалер Клейст мырзаға, Қарқаралы округтік приказының аға сұлтаны Қ.Өскенбаевтың жолдаған баяндама-хатында бұл туралы нақты дерек те бар. Онда мешіт салуға берілген жердің қолайсыз екендігін айта келе, дұрыс жер бөлуді сұрайды. Әрі мешіттің құрылыс жұмысын өткен жылдары қауым болып жинаған қаражат есебінен және өзінің есебінен жүргізетіндігін жеткізеді.
Мешіт салдыруға рұқсат сұрап бас кезінде бүкіл округтің болыстары мен билері қолдап хат жазып, мөр басып, қаржы жинағанымен (ішінде Құнанбай да бар), солардың сұрауы бойынша бөлінген жерге салынып кеткенде, мешіт бүгінгі күнге жету-жетпесі екіталай дүние еді. Ойлап қарасақ, дәл осы тұста Құнанбай өте дұрыс әрі батыл шешім қабылдаған. Құнанбай таңдаған орындағы мешіт қаланың қай жағынан келсеңіз де көзге түседі әрі қар алмайды, ылғал тұрмайды. Бүгінгі күні Құнанбайдың мешіті аталуы – мешіттің орнын өте дұрыс таңдап, өзі тікелей мұрындық болғандығының арқасы.
Аталмыш мешіттің құрылысы 1850 жылдың 7 қаңтарында Құнанбай жазған рапорттан басталып, 1851 жылдың 11 тамызында жазған екінші рапорты кезінде аяқталғанын мұрағат құжаттары дәлелдеп отыр.
Мешіт 1930 жылға дейін халыққа қалтқысыз қызмет етті. Мұнда бір мезгілде 11 қари қызмет атқарған.
Мемлекет мешітті кезінде өз қажетіне қарай әртүрлі мекемелерге баспана ретінде пайдаланды. Бір кездері кітапхана болып ел игілігін көрсе, көп жылдар бойы пионерлер үйі болып, жас ұрпақ тәрбиесіне пайдасы тиді. Бірақ, кейінгі жылдары қораға айналып, ақыры, бос қалды. Кеңес дәуірі кезінде бұл мешітті бұзып тастауға тікелей нұсқау берілмесе де, қала жақ алдын орай биік ғимарат салынып, мүлдем көзден тасада қалдырылды.
Жүрегінде иманы бар адамдар, ел басқарған адал азаматтар Кеңес дәуірі кезінде де баршылық еді. Партияның «қайта құру» науқаны қызу жүріп жатқан кезде, бұндай істі қолға алмақ түгілі ауызға алу өте қауіпті болатын. Осындай батыл іс 1985-1989 жылдары іске асырылып, мешітті қалпына келтіру қолға алынды. Белгілі себептерге байланысты мешіттегі бұл жұмыстар «Абайдың медресесі» деген атаумен жүргізіле бастады. Ал медресені қалпына келтіру, мәдениет, сәулет ескерткіші ретінде мемлекет тарапынан қолдау табатын. Жаңғырту жұмыстарын сол кездегі Мәдениет министрлігінің жанындағы «Казреставрация» мекемесі атқарды.
Мешіттің қабырғасына пайдаланылған бұрау ағаштар Қарқаралының қарағайынан түгелдей жаңадан дайындалып, қайта өріліп салынды. Ғимараттың бірінші қабаты, кісі бойынан биік тереңдіктегі жертөлесі қалпына келтіруге келмей жабылды. Қайта өңдеу талаптарына сәйкес, мешіттің өзінен қалған төбесінің тақтайы бір бөлмесіне толық, екінші үлкен залдың төбесінің біраз жеріне қалдырылды.
Атқарылған жұмыс нәтижесінде ғимарат алғашқы қалпына қайта келтіріліп, барлық тарихи-мәдени құндылықтары сақталды. Мешіттің ішінде михраб, минбар, кітапхана сөрелері жасалды. Мұнарасы Шығыс дәстүрімен шыныланып, өрнектелді. Өлгені тіріліп, өшкені жанғандай қуанған халықтың арасынан бір тұрғын көзінің қарашығындай сақтап жүрген, көнеден жеткен қасиетті кітап – көне Құранды осы кітапханаға табыс етті.
Бүгінде ел тарихынан сыр шертетін Қарқаралының осы бір әсем ғимараты ауданға келген әр қонақтың атбасын тіреп, тағзым ететін орнына айналды.
