1920年8月，陈独秀任书记，杨明斋、李汉俊、李达、沈雁冰、邵力子等人为成员的中国共产党发起组（以下简称“发起组”）”在上海成立。当时，黄浦江两岸人才汇集，各种学术观点纷呈，文化思潮活跃，全国各地追求进步青年纷纷前来，渴望吸纳新知识、接触新思想。李达晚年时回忆说：“五四运动后，湖南、湖北、安徽、四川等地有不少青年对旧社会不满，要求思想解放。这些青年都有一股朝气，想干革命工作，想谋出路，许多人脱离了家庭和学校，来到上海。”

为培养、团结各地来沪的进步青年，给他们提供学习、发展的场所，“发起组”决定利用上海外国租界密布、多种语言汇聚的条件，创办一家外国语学校，以公开授课为掩护，传播马克思主义思想和中国共产党的主张，秘密开展革命活动。

1920年9月28日，邵力子主持的上海《民国日报》登载《外国语学社（以下简称“学社”）招生广告》：“本学社拟分设英、法、俄、日语各班，现已成立英、俄、日语三班。除星期日外每班每日授课一小时，文法课本由华人教授，读音会话由外国人教授……报名费一元；学费每月二元。名额无多，有志学习外国语者，请速向法界‘霞飞路新渔阳里六号’本社报名。”当时，“霞飞路新渔阳里六号”还驻有杨明斋创办的“中俄通信社”，主要任务是用电报向莫斯科“共产国际”总部传递中国革命消息，也接收“共产国际”电传十月革命后苏联各方面的真实情况，在中国共产党发起组创办的《劳动界》周刊，上海《民国日报》等报刊登载。“学社”招生广告虽称对学员收费，但由“发起组”成员和进步团体推荐的学员都一律免费，如：毛泽东以“新民学会”名义推荐的湖南学员任弼时、萧劲光等，陈独秀介绍的安徽学员吴葆萼、蒋光慈等，陈望道介绍的汪寿华、华林等。

1920年11月20日，“学社”正式开班，杨明斋任校长，李达、李汉俊、沈雁冰等分别教授法、英、日语，杨明斋和“共产国际”小组成员库兹涅佐娃讲授俄语。“学社”除提供外语教材，还把《马克思资本论入门》《共产党宣言》作为必学课本。萧劲光晚年回忆说：“我读的第一本马克思的书就是外国语学社发的《共产党宣言》，当时读起来很费解，尽管字都认得，但好些术语不明白。书是陈望道翻译的，马列主义课也由他主讲，每个星期日讲一课。”学员们除了半天上课、半天自修或做工，还要帮助“中俄通信社”抄写、油印、校对文稿，为《劳动界》周刊撰写稿件，柯庆施、陈为人、卜士奇等20多位学员先后发表了《失业问题与社会主义》《黄包车夫拉车吐血》等呼吁改变不平等的社会现状、关注劳苦大众的文章30多篇。他们同时也组织、参加各种社会活动，党的“一大”代表包惠僧在《党的“一大”前后》一文回忆说：“当时党的一些公开或半公开的集会，如：李卜克内西、卢森堡纪念会，纪念‘五一’劳动节、马克思诞辰、‘三八’妇女节等集会都是在‘外国语学社’举行的。”

1921年2月，陈独秀得知苏联将创办“莫斯科东方大学”，他立即与“共产国际”取得联系，希望接收中国学员入学，同时委托杨明斋在“学社”选拔学员，准备赴莫斯科学习。从1921年4月到7月，刘少奇、任弼时、罗亦农、萧劲光等30多名学员，在“共产国际”的协调下，先后分3批赴莫斯科东方大学学习。