上海市第八中学的前身是清心女子中学,初名清心女塾。清咸丰十一年(1861年)美国基督教长老会传教士范约翰的夫人玛丽-范约翰(Mary Farnham)将其位于南门陆家浜住宅的一部分辟为校舍,创立女校,自任校长。两年后,得西商捐赠,始建校舍,女校正式成立,以“Blessed are the pure in heart"(清心)为校训。课程除国文、算术、唱歌以及圣经课外,还注重家政。
光绪三十二年(1906年)清心女校举行第一届毕业仪式,为我国女子学校举行毕业典礼之嚆矢。这届毕业生领文凭者有鲍翠凤等三人,后皆蜚声教育界。
民国16年成立校董会,开始由中国人任校长,第一、二任校长先后为张石麟和张蓉珍。此后课程和编制完全依照当时政府规定,但宗教活动仍照常进行。同时,该校校舍也依靠各方捐款而得到进一步扩充。抗战胜利后,成为沪上著名学校之一。五四、一二-九等爱国运动中,该校都有学生参加,是上海学生联合会的发起和组织单位之一。
毕业学生中较知名的有寄生虫专家叶嘉馥、纺织科学家冯之榴、作曲家瞿希贤、歌唱家高芝兰,以及曾长期担任宋美龄秘书的张蔼珍等。国外有清心女中同学会的组织。校友中有曾任美国里根总统家庭教师的宋能燕、美国幼儿专家钱希成、美国化学博士章珍馨以及曾在民国时期任驻奥地利大使的金葆宜等。
1953年由上海市人民政府接管,改名上海市第八女子中学,1967年改名为上海市第八中学,男女生兼收。