五四运动后,安徽地区进步知识分子积极宣传马克思主义,推动革命思想在安徽的传播。这一时期,安徽地方党团组织也由此孕育而生。
1923年春,安徽籍中共党员柯庆施奉中共中央指示来安庆,恢复社会主义青年团组织活动,从青年团员中培养骨干,发展党员,着手建党工作。到1923年冬,安庆团的组织已经发展到四五十人,12月,柯庆施在安庆北门外万安局一号濮家老屋召开会议,正式成立中共安庆支部,这是安徽第一个城市党组织。
1923年,寿县青年曹蕴真、薛卓汉等人根据上海党组织的指示,从上海返回家乡寿县发展党组织。他们在课堂上传播救国救民的真理,同时把进步教师、学生和农民组织起来与反动势力斗争。当年底便成立了中国共产党小甸集特别支部。作为安徽第一个农村党组织,小甸集特支的成立如一声春雷回响江淮大地,唤醒广大群众,播下燎原火种。
随后,安徽其它地方的党组织也纷纷建立,安徽的革命面貌焕然一新。