Согласно мусульманскому преданию, она была построена пророком Адамом. После изгнания из рая, Адам поселился на острове Цейлон в Индии, а Ева – в современной Джидде в Саудовской Аравии.
Они страдали в разлуке и просили Всевышнего простить их. Он послал к ним ангелов, которые привели их в Мекку. Встретились Адам и Ева на горе Арафат и обратились к Аллаху с мольбами о помиловании. Всевышний простил их и обещал, что каждый год будет прощать всех, кто придет сюда в этот день и будет просить его милости. В знак благодарности Всевышнему Адам построил первое святилище на Земле – Каабу. Во время Всемирного потопа Кааба была разрушена и люди очень долго ничего не знали о ней.
Заново воздвигать строение начал пророк Ибрахим и его сын Исмаил. Позже, в доисламскую эпоху она была главным языческим храмом, сюда совершали паломничество язычники со всей Аравии. Внутри нее находились языческие идолы. К VII в. н. э. она вновь была стерта с лица земли наводнением. Для ее строительства были привлечены все племена, проживавшие на территории Мекки.
Избавить Каабу от идолов довелось пророку Мухаммаду. В 632 году он совершил свой первый хадж и установил обряды паломничества.