El Primer Templo, o Templo de Salomón, fue contruido en el siglo X adC, y destruido por los babilonios en el 586 adC. El Segundo Templo, en tanto, fue reconstruido por Esdras y Nehemías a la vuelta del Exilio de Babilonia, y vuelto a destruir por los romanos en el año 70 de nuestra era, luego de la Gran Revuelta Judía. De tal modo, cada templo se mantuvo en pie por unos 400 años.
De acuerdo con la leyenda, cuando las legiones del emperador Tito destruyeron el templo, sólo una parte del muro exterior quedó en pie. Tito dejó este muro para que los judíos tuvieran el amargo recuerdo de que Roma habia vencido a Judea (de ahí el nombre de Muro de las Lamentaciones). Los judíos, sin embargo, lo atribuyeron a una promesa hecha por Dios, según la cual siempre quedaría en pie al menos una parte del sagrado templo como símbolo de su alianza perpetua con el pueblo judío. Los judíos han rezado frente a este muro durante los últimos dos mil años, creyendo que este es el lugar accesible más sagrado de la Tierra, ya que no pueden acceder al interior de la Explanada de las Mezquitas, que sería el más sagrado de todos.
Tres veces al día, por millares de años, los rezos judíos siempre fueron hechos en dirección al Muro en Jerusalém. Como decía el Rabino Yehudá HaLevi, "Estoy en occidente, pero mi corazón esta en Oriente (Jerusalém)".
La tradición mística dice que todos los rezos van para el lugar del Templo, y de allá, ascienden para el cielo. El Talmud dice que si alguien está rezando fuera de la Tierra de Israel, su corazón debe estar dirigido para Jerusalém. Como dice la Biblia: "Y ellos rezaran para Ti a través de la tierra que Tu les diste, a través de la tierra que Tu diste a sus antepasados, la ciudad que Tu escogiste, en la casa que construi en Su nombre."
La tradición de introducir un pequeño papel con una plegaria entre las rendijas del muro tiene varios siglos de antigüedad. Entre los rezos de los judíos se incluyen las fervientes súplicas a Dios para que vuelva a la tierra de Israel, el retorno de todos los exiliados judíos, la reconstrucción del templo (el tercero), y la llegada de la era mesiánica con la venida del mesías judío.