蔡元培离开北大以后，在国民党内担任了多种重要职务，又在民族危机来临的时候坚定地站在了人民群众的一边。

　　随着年纪的增长，蔡元培决心不再参与政治，用他的话来说就是：“愿以余生，专研学术。”他的大半生时间都花在了实现教育救国的梦想上，为什么在这个时候要投身科研事业呢？其实这个想法早有渊源。

　　蔡元培早在欧洲留学期间，就意识到近代文明是在科技发展的前提下产生的，当时就开始对中国科技的发展前景充满了忧虑。当时他就总结到：“欲救我国之沦胥，必以提倡科学为关键。欲救我国于萎靡不振中，惟有力倡科学化。”因此，中国要发展新文化事业，就必须注重科学发展。

　　1927年4月17日，在南京举行的国民党中央政治会议第74次会议中，李煜瀛首次提出设立中央研究院，决议出推李石曾、蔡元培、张人杰来共同起草中研院组织法，随后展开筹备工作。中央研究院是中国民国时期的最高学术机关，最初隶属大学院，在组织上分为行政、研究和评议三部分，职责主要是实行科学研究，并指导、联络和奖励全国研究事业。

　　1928年4月，年过六十的蔡元培践行了孙中山的遗愿，被任命为中央研究院首任院长。在蔡元培担任院长期间，担任干事的成员有杨杏佛、丁文江、朱家骅、傅斯年等人，其中杨杏佛曾先后在康奈尔大学和哈佛大学攻读，并跟任鸿隽一起成立了中国科学社，他是蔡元培的得力助手，两人的合作关系从大学院开始一直持续到研究院。杨杏佛被暗杀后，蔡元培失去了得力干将，于是聘请丁文江来担任总干事。丁文江在早年曾经留学日本和英国，也是中国近代地理学的开拓者之一，除了地质学以外对生物学、人类学和军事历史等多方面都相当熟悉，个人的管理和决策能力也很强。他为评议会的组建完成了必要的基础工作，还对当前的研究工作进行了科学分类，所执行的各项工作也得到了蔡元培的高度赞扬。在中央研究院里，蔡元培以令人崇敬的人格魅力聚集了一批能人才俊，共同推动了中国科学事业的改革和发展。

　　说到蔡元培在中央研究院的领导工作，跟他在治理北大时的政策类似，都是从长远出发，根据唯才是举和思想自由的原则来实行的。蔡元培倡导科学的研究精神，让每个人充分发挥自己的特长，保证了研究者能在合理范围内凭自己的兴趣和能力来选择和决定研究方向。1929年7月，中央研究院已经正式成立了一周年，由于连年的内战导致当时国内局势非常紧张，虽然政府规定了每月拨款，但基本没法做到按时拨款。

　　根据当时的资料记载，中央研究院并没有领取建筑费和设备费，设备费用是从各个研究所和图书馆、博物馆、筹备处的日常费用中提取的。虽然面临重重困难，蔡元培还是迎难而上，在短短十年里就取得了客观的成果：中央研究院的建立不仅使中国结束了译述西方科研成果的时代，各个学科也都取得了不错的科研成绩，包括南京紫金山天文台的建立、对于全国地层结构和资源的调查等等，都对我国的科学发展具有相当重要的意义。最重要是在蔡元培的带领下建立了初具根基的中国科研体系。

　　步入晚年的蔡元培，在主持中央研究院的同时，还兼任了跟学术文化相关的许多职务。早在1929年初，他任职中华教育文化基金董事会董事长，负责管理和使用美国退还的庚子赔款，他把这笔资金用来扶持教育文化和科学研究事业，也资助了许多有志于投身科学事业的学子。他还兼任了中国国语教育促进会会长、故宫博物院理事长和北平图书馆馆长等二十多种职务。虽然身兼多职，但他丝毫没有考虑个人的待遇，生活相当简陋，一直租住在连书籍都没地方放的房子里。

　　1935年秋天，胡适、蒋梦麟和罗家伦等人商量提出赠予蔡元培一处房屋作为他的寿礼，并联名给蔡元培写了一封信告诉他这件事情，希望他能有个颐养天年的地方。虽然后来这个美好的计划因为战争而没有落实了，但这座没送成功的房屋就像蔡元培在人们心中留下的纪念碑一样，证明了大家对他为国家教育和科学事业付出心血的充分肯定。

　　在中国民权保障同盟停止活动以后，蔡元培几乎把所有的精力都投入到中央研究院的工作中。在1935年这一年，68岁的蔡元培发表了三项声明：一是辞去中国公校校董兼董事长等兼职；二是停止接受请他写文章的要求；三是停止介绍职业，不再给其他人写介绍函。年事已高的他希望能脱离繁杂事务，可以更好地专注在主要工作上；在工作之余也可以安心静养，做自己想做的学术研究。

　　之后的几年里，他写了许多回忆性的文章，包括《我所受旧教育的回忆》、《我在青年时代的读书生活》、《我在北京大学的经历》和《我在教育界的经验》等等，并把自己的生平详细整理，后来在《自写年谱》里记录了自己53年里的生活经历，这本书为后人解析他的人生轨迹和思想人格、了解和研究中国近代史提供了第一手的资料。

　　1938年，蔡元培70周岁生日的时候，家里人为他举办了简单的寿宴，亲人和朋友都纷纷送上祝福，令他感到无比欣慰。中国科学社也为他举办了庆生大会，著名教育家马君武在会上致辞说：“人生七十以后，实为最好的服务时期。希望蔡先生在七十以后，领导全国科学家，本着苦干精神，为国奋斗。”蔡元培诙谐地回应说：“中国科学社到现在虽然只有二十多岁的年龄，但外国学会在百岁以上的很多，法兰西学院已到三百年，故学会也是万寿无疆的。今以长寿的团体来祝个人，真是荣幸。”画家刘海粟和教育家张寿镛等人觉得他之前的生日庆祝都太朴素了，于是在上海国际饭店举办了盛大的庆祝活动，行政界、金融界、教育界和美术界的许多名人，包括沈钧儒、马寅初、梅兰芳、林语堂、李四光等人纷纷来祝寿。蔡元培非常激动，当众许下了要完成自传的心愿。

　　然而令人始料未及的是，就在当年冬季，一场突如其来的大病击倒了他，虽然后来转危为安，但人却是肉眼可见地衰老了。蔡元培不愿意给别人造成负担，总是不愿意提及自己的病情，忍受着病痛的折磨继续工作。

　　不久以后，抗日战争爆发了，国共两党再度合作，形成全民抗战的局面。蔡元培不顾大病缠身，积极呼吁群众团结起来，为自由和民主而奋斗。上海沦陷以后，国民党政府被迫把首都迁往重庆，中央研究院也被迁到了内地。蔡元培为了避难和养病，从上海转移到香港，一家人暂时居住在商务印书馆宿舍，后来搬到九龙租好的寓所居住。在之后的两年，蔡元培深居简出，安心养病，但始终放心不下中央研究院的运转问题。