Ainsi, il existait de nombreux temples abritant des pierres sacrées dans l'Arabie pré-islamique, la pierre noire de la Kaaba n'étant considérée que comme une relique parmi tant d'autres. Il existait donc une pierre rouge à Ghaiman, dans le sud de l'Arabie, et une pierre blanche à al-Abalat, non loin de La Mecque.

Maxime de Tyr (de son vrai nom Cassius Maximus Tyrius), philosophe grec du II° siècle, rapporte dans ses récits : Les Arabes adorent aussi, mais je ne sais quoi. Quant à l'objet sensible de leurs adorations, je l'ai vu, c'est une pierre quadrangulaire. Quant à Clément d'Alexandrie, un philosophe chrétien qui vécut à la même époque, ce dernier indique : les Arabes adorent des pierres.

Cependant, ce dernier (Mohammed) ne fit pas détruire la Kaaba, ni la pierre noire, alors que l'islam condamne fermement l'idolâtrie (sourate 46 : N'adorez pas d'autres dieux que Dieu ; car je crains pour vous le châtiment du grand jour). Peut-être dans un souci de syncrétisme ? Ou plus vraisemblablement dans une logique plus terre-à-terre, sachant que si la Kaaba était détruite, la cité perdrait son rôle de centre religieux, et donc aussi celui de carrefour commercial.