海拉尔市的清真寺坐落在河西市区中心地段的礼拜寺街。1912 年，海拉尔市建有清真寺，地址在东大街南头。当时全市仅有13 户回族。1922 年，回族增加到62 户，人口200 余人。同年，清真寺由东大街迁至工字胡同，1926 年又由工字胡同迁至现礼拜寺街。1947 年曾成立回民联合会，于1953 年撤销，成立乡老委员会，后又改为民主管理委员会。“文化大革命”期间，清真寺遭到破坏，被关闭府相继拨款，用于修缮清真寺、沐浴室。

1994 年，海市开始改建清真寺。1998 年7 月，总面积1 000 平方米、造价130 万元的大殿终于落成。新建的清真寺庄严肃穆，其规模在全自治区名列前茅。建筑融阿拉伯与现代化风格于一体，在全国清真寺中也不多见。