1928年8月，南京国民政府教育部根据山东省教育厅的报告，决定在省立山东大学的基础上筹建国立山东大学。

1928年8月，成立了由何思源、魏宗晋等11人组成的筹备委员会。8月7日，筹委会在当时的山东省政府所在地泰安召开第一次会议，讨论通过了筹委会组织条例，研究了学校的院系设置、经费来源、扩充校舍及原有学生转学等问题。但由于济南和胶济铁路被日军占据，筹建大学一事完全是纸上谈兵，根本无法实施。1929年4月以后，日军陆续撤出山东，南京政府接收了济南、青岛和胶济铁路。此时，私立青岛大学已因经费困难、师生散失而陷入困境。南京国民政府接收青岛前夕，私立青岛大学校长宋传典弃职出走，学校陷入停顿状况。鉴此，南京政府教育部长蒋梦麟、著名教育家蔡元培均主张将国立山东大学改为国立青岛大学筹备委员会，将原拟建于济南的山东大学迁至青岛，利用私立青岛大学的校舍筹建国立青岛大学，遂由教育部长蒋梦麟向行政院提出筹办国立青岛大学的议案。1929年6月4日，南京政府行政院第26次会议讨论通过了筹建国立青岛大学的议案，其议案内容如下：“教蒋部长（梦麟）提：国立山东大学筹备经费，因事实上困难，一切尚待规划，查该省青岛地方，有私立青岛大学一所，为张宗昌逆党前省议会议长宋传典所办，自胶济经中央接收，该校长早离校他往，现校中状况纷乱，自不待言。且该校向无确定基金，全赖鲁省款及青岛市款补助。拟将该校取消，其校产归山东大学收用，国立山东大学名称，拟改为国立青岛大学。查青岛交通便利，环境优胜，设立大学，自较济南为宜，可否敬候公决案。决案：照办”。从此，国立山东大学筹备委员会即改为国立青岛大学筹备委员会。6月20日，国立青岛大学筹备委员召开第一次会议，何思源、彭百川、王近信、赵畸、袁家普在济南宣誓就职，山东省**陈调元监誓，筹委会推举山东省教育厅厅长何思源为筹备委员会主任，另外还函聘杜光埙、傅斯年、杨振声、蔡元培为筹委（10月，青大筹委会又增聘陈调元、于恩波、陈名豫为筹委）。何思源在会上致答词称“谓大学将来注重职业教育，造就专门人材”。在此前一天，私立青岛大学推举学生代表郭恩纪等三人到济南竭见国立青岛大学筹备委员会，接洽私立青岛大学护校等事宜。教育部亦电催山东省教育厅速派专员到青岛接收私立青岛大学。6月21日，何思源与赵畸、王近信到私立青岛大学进行考察、参观，预备接收私立青岛大学。何思源考察完毕返回济南后，留赵畸、王近信在青岛负责办理校产接收。南京政府中央研究院院长、著名教育家蔡元培先生十分关心国立青岛大学的创办。将国立山东大学改为国立青岛大学，改在青岛创办的提议人就有蔡元培先生。1929年6月初，蔡元培与蒋梦麟赴青岛参与青岛筹备事宜。蔡元培与家人住在私立青岛大学内，深为青岛及大学的优美环境所吸引，故迁校主张更力。同年8月23日，蔡元培因国立青岛大学经费迟迟未落实，遂致信吴稚晖请其代催经费，表示：“青岛之地势气候，将来必为文化中心点，此大学关系甚大。”国立青大筹委会成立后，共计召开了6次会议，研究学校筹办工作。其中第二次会议于1929年7月8日在青岛召开，中央研究院院长蔡元培、教育部长蒋梦麟专程到青岛参加国立青岛大学筹备会议。研究办学章程、经费、学科设计、教员聘任、原有省立山大和私立青大学生处置等原则章程。会议决定国立青岛大学设在青岛，并分设工厂、农事实验场于济南。会议选举何思源、傅斯年、杨振声、赵畸（太侔）、王近信为筹委会常务委员。7月10日，国立青岛大学筹备委员会召开第三次会议，筹委何思源、杨振声、袁家普、王近信、赵畸、彭百川出席会议，会议通过国立青岛大学办学诸方案，其中主要方案有行政组织经费、教员薪金、教职员人选、旧生转学办法等，其要点有：

一、国立青大行政组织：校长下设校长秘书，各种委员会及教务、总务、文学院、理学院、工学院、农学院等。

二、教员薪金标准：专任讲师分为5级，从120元至240元不等；教授分7级，240元至450元不等。

三、教职员人选，教务长吴之椿、总务长王近信、工学院院长周钟岐、文学院长杨振声、赵琪，理学院长由教授暂代，其他职务暂缺。

四、青大经费：教员薪金，每年共计222,000万元，职员薪金567720元，夫役工资21000元，购置费14万元，转学学生津贴12000元，除其他费用另计外，总计年费451770元。其经费呈请教育部转呈由行政院拨发。

五、旧生转入青大，须受入学试验，及编级试验。并特别规定：

①凡前由省立山东大学和私立青岛大学入本校生，经入学试验及编级、试验及格者，得转入国立青岛大学肄业；②前省立山大及私立青大学生原习科分，为国立青岛大学所无者，得请求发给修业证书，及转学介绍公函投考其他国立、（ ）十八年七月二日教育部已立案之私立大学……第二、第三次筹备会议基本上解决了国立青岛大学的办学章程办法。后来，上述办学章程规则办法除院系人事安排变动较大外，基本上得到落实。但学校经费则未能完全落实。对于原私立青岛大学的学生，也按其专科进行了分流。其铁路管理科学生转入交通大学，土木工程科学生转入北京大学第二工学院，法科学生转入中央、复旦等4所大学。然而，由于多种原因，国立青岛大学一直未能正式开学，仅在1929年下半年，刊登过启事，招收新生补习班。而阻碍大学及时开办的主要原因便是接受私立青岛大学和省立山东大学校产、办学经费和校长人选问题。按照南京政府行政院命令，国立青岛大学所接收的校产为私立青岛大学的校舍及校内设施等。但在此前筹备国立山东大学时，曾决定将省立山东大学校产由国立山东大学接收，在此基础上筹建国立山东大学。国立青岛大学筹建后顺利接收了私立青岛大学的所有资产，而省立山东大学的校产一直不能顺利接收。几经周折，仅接收了原省立山东大学六个学院中的一个学院—农业专科学校（农学院）的校产。而筹建所遇到的主要困难还是经费问题。国立青岛大学自筹建之日起，就被办学经费所困扰。1929年6月，国立青岛大学筹备委员会拟定国立青岛大学“经费预算年六十万元，拟请中央政府及省政府各出二十四万，而市政府与胶济铁路各出六万”。并上报南京国民政府审核批准。但南京国民政府迟迟不予答复。8月3日，蔡元培先生为国立青岛大学经费一事特地致函吴稚晖：“唯中央应出之费，闻业与财政部宋（子文）部长商及，尚无确切答复。弟因研究院关系，未便再向要求，欲请先生向子文切实一言，如能请蒋**对宋谆嘱则尤善。除由何仙槎（思源）见面详一切外，专此奉托。”蔡元培的信函发出后，财政部和行政院对国立青大经费似乎有所松动。8月17日，《申报》揭载：“国立青大，中央年担经费二四万元，可望核准。”但嗣后又无下文。鉴此，国立青岛大学筹委会只好再次修订经费预算，7月，在原拟定之年经费60万元无望后，将每年经费预算核减为451770元，请行政院拨发。9月3日，《申报》载：“教部电青大筹备委员会，该校请拨各项经费，已呈行政院核饬并分咨财、铁两部查照，青大经费已有著。”数日后，“教部电国立青大筹备处，谓已将该校经费列入十八年中央教育费预算，请行政院转饬照拨”。此后仍未批复。国立青大筹委会只好再度修改经费预算：“由山东省政府每年资助36万元，青岛市政府每年资助3、6万元，胶济铁路局每年资助1、2万元，其余不足之处，请由南京国民政府在教育经费项下拨给。”实际上，国立青岛大学的办学经费，南京政府分文未拨。上述经费预算数额及拨发、资助单位也有较大变化。常年费实领到的，（山东）省拨三十六万元，胶济路拨四万八千元，共四十万八千元。教育部仅仅拨发了开办费5万元，另外5万元开办费由山东省政府拨付。另外，国立青岛大学的校长人选也迟迟未定。筹建之初，即有何思源出任青岛大学校长之说，并见诸报章。由于何思源既是山东省教育厅厅长，又是国立青岛大学筹备委员会主任，出任校长亦属顺理成章。但后来没有下文。到了8月中旬，也就是蔡元培委托吴稚晖催促国立青岛大学经费后不久，又从南京传出消息：“教部决任吴稚晖为国立青岛大学校长，并已得吴同意”。但最终还是没有结果。直到1930年4月，才确定由杨振声担任国立青岛大学校长一职。面对社会上对青岛大学经费、校长和办学进度等种种猜测，1930年3月，国立青岛大学筹委杜光埙到济南与何思源商榷校务事项，决定：“①暑期学校必办；②于平、豫、沪等添聘教师教员；③组织训育委员会”等。1930年4月28日，南京国民政府任命杨振声为国立青岛大学校长。5月，杨振声到校视事，着手聘请教师、争取经费和安置原有学生等工作，国立青岛大学的筹建工作开始走上正规。随着经费、教师诸事的逐渐落实，国立青岛大学招生工作也全面展开。根据筹委会决定，国立青大第一年先设置文、理两个学院，其中文学院下设中国文学系、外国文学系、教育学系，理学院下设数学系、物理学系、化学系、生物学系，共计7个专业学科。其聘任的教授亦与原拟聘用的人选有较大变化，张道藩任学校教务长，闻一多任文学院院长兼中文系主任，黄际遇任理学院院长兼数学系主任，梁实秋任外文系主任兼图书馆馆长，黄敬思任教育系主任，汤腾汉任化学系主任，曾省任生物学主任。另在见原省立山东大学农业专门学校旧址（国立青岛大学在济南的唯一校产）设置农事实验场。后来，又在济南正觉寺街设立了国立青岛大学工厂管理处。1930年7月，国立青岛大学在《申报》等报纸连续刊载招生广告，于8月分别在青岛、济南招收了第一年级新生153人。9月21日，在青岛原俾斯麦兵营举行国立青岛大学开学典礼，校长杨振声宣誓就职，国立青岛大学正式成立。国立青岛大学的成立，标志着青岛的高等教育在经过了中德合办德华大学、自行创办私立青岛大学的艰难的探索、起步之后，进入了一个新的发展时期。国立青岛大学及以后的国立山东大学对青岛和山东的高等教育起了极为重要的作用，对于青岛20世纪30年代的文化繁荣起了极其重要的作用。出身于北京大学的杨振声出任国立青岛大学校长后，以北京大学为榜样，效法蔡元培先生在北京大学当校长时倡行的“兼容并包、学术自由”、“科学与民主”的办学方针，积极延聘专家学者到青岛大学来任教，以提高新建立的国立青岛大学的师资力量和学术地位。许多著名专家学者如闻一多、梁实秋、黄敬思、黄际遇、汤腾汉、曾省、闻宥、游国恩、沈从文、傅鹰、任之恭等均应邀来青岛大学任教。另外，还经常邀请蔡元培、冯友兰、顾颉刚等学者名流来青岛大学讲学。这种重视专家学者队伍建设的政策对于快速提高国立青岛大学的教育、科研水平起了重要作用。杨振声还十分重视学校规章制度的建设。陆续制定了学校的组织规程、学则、图书馆及各部科的章程、办事细则、各种委员会规程以及学生寝室规则等规章数十种。要求严格按照规章制度办事。同时，在校务工作中，提倡集思广益和民主作风，并成立了国立青岛大学校务委员会，对学校的大政方针和规章制度的制定共同研究实施。这些措施的实施，对于国立青岛大学的建设与发展起了非常重要的作用，并为日后国立山东大学的建立与发展打下了坚实的基础。经过一年的运作，国立青岛大学除了在建校初期因毕业证书问题发生过开除学生而引发学潮外，基本上比较平静。至于证书问题是这样的：当首届国立青岛大学新生入校后，发现有一部分学生的高中毕业证书是借用他人或伪造的，学校因此于1930年12月勒令30余名学生退学。此时距招生入学已经近半年时间，如此处理引起“违规”学生不满，也引起其他学生的同情，遂“激动风潮，四日起全体罢课，援助失学同学。”后经学校妥善处理后，学潮平息。其后，国立青岛大学未再发生较大风波，学校逐步规范发展。1931年5月，黄炎培在青岛作短暂停留时曾到青岛大学参观，他在其《黄海环游记》中写到：“青岛大学校舍，即前俾士麦兵营。去年开办，分文理两院。文学院分中国哲学（注：应为中国文学）、外国哲学（注：应为外国文学）、教育学三系；理学院分数学、物理学、化学、生物学四系。学生百余人，教徒（师）百人。常年费实领到的，省拨三十六万元，胶济路拨四万八千圆，共四十万八千圆”。1931年，国立青岛大学在上年办学成功的基础上，已有重大发展。1931年1月，学校决定增设教育学院和农学院，“教育学院新假后，决在济开学，先招三专修班。造就乡村师范师资农学院，新假后亦在济筹办”。但后来没有完全实现，只增设了乡村教育系。1931年7月，国立青岛大学从报名的412名考生中考试录取了180名新生。开始了第二学年的教学授业。正当国立青岛大学步入正规，正在良好发展之际，发生了日本侵占我国东北的“九一八”事变。国立青岛大学的爱国师生们与全国人民一起投入了抗日救亡的爱国斗争中，旧有的和平教学环境、秩序被打乱，国立青岛大学进入了动荡时期。“九一八”事变发生后，国立青岛大学的爱国学生立即投入了抗日救亡斗争。进步学生王林、俞启威等在中共青岛市委领导下发起成立了反日救国会，上街宣传抗日，抵制日货。在上海、北平等地学生到南京请愿后，1931年12月2日，国立青岛大学的学生也冲破反动当局的压制封锁，组织了179人的学生请愿团到南京请愿，要求出兵抗日。由于缺乏经验，未能与上海、南京的请愿学生取得联系。尽管学生们分头向南京政府各机关呈送了请愿书，并见到了 ，但 却只用些虚假诺言来欺骗学生。正当请愿团思想动荡不定，为下一步行动进行商量时，突然接到从青岛寄来的匿名信，主要内容是：要请愿团赶快回校，否则学校将给于严厉处理，将请愿团骗回青岛。南京请愿虽然失败，但国立青岛大学的抗日救国的活动却没有停止。在中共青岛地下党组织的领导下，进步学生组织了读书会和时事讨论会以及海鸥剧社，宣传抗日和***的思想主张，在学生中产生了重大影响，遂为学校当局所不容。同年6月，国立青岛大学校方作出决定：取缔图书馆内的进步书籍，禁止向学生出借；推行“学分淘汰制”，规定：“学生全年学程有三门不及格或必修学程而种不及格者令其退学”。这种名为“严格”实际逼迫学生埋头读书，不去关心国家大事的规定，引起大多数学生的不满和反对。6月中旬，各系学生代表选举成立了国立青岛大学非常学生自治会，向校方提出：取消“学分淘汰制”、取消学生住宿费、图书馆学术公开等要求，遭到校方无理拒绝，遂引发全校罢课。校方便采取断然手段，将9名非常学生自治会常委开除，致使矛盾更加激化。在此之前，杨振声已在劝阻国立青大学生南下请愿无效后向南京教育部提出辞职：“本校学生179人为抗日事，签名赴京请愿，屡经劝导，俱无效果，临行时联名请假，未经准假，即行离校，已于本月二日出发，当经电达。此举揆之部令校章，皆难认许。惟其行动系激于爱国之热忱，加以惩处，则青年爱国之锐气，有挫折之虞；不加惩处，则学校风纪不严，无维系之法。振声忝长斯校，处理无方，惟有恳请准予辞职，以重职责而肃纪纲，实为德便。”后经教育部慰留后收回辞呈。1932年4月，杨振声赴南京请中央拨发积欠国立青岛大学经费无果，再次提出辞职，又被教育部慰留。1932年6月国立青岛大学因“学分淘汰制”引发学潮后，杨振声和教务长赵畸成为学生反对的主要对象，在全国产生了重大影响。1932年6月28日《申报》载：“青大学潮仍僵持，教员多离校。27日学生又赴杨宅请示无结果。杨谈，学则过严系督促学生勇进，修改尚须审议。杨已电部自劾。闻教部已电鲁教厅长何思源来青调停，何约29到。”同日，该报又载：“青大开除之学生9人，校方准其休学一年。有201名学生署名愿受同等处分。二十七晚全体学生开会议决五项：（1）否认学校一切处置；（2）驱逐校长教务长；（3）请教部另选贤能；（4）请各教授组织维持会；（5）全体赴京请愿，并通电全国大学，请一致援助”。学生的正当要求得到了许多教师的同情和支持，但也有少数教师如教务长赵畸、外文系主任兼图书馆馆长梁实秋等支持校方推行“学分淘汰制”和开除学生的行为。29日，国立青岛大学全体学生“发宣言，否认杨振声校长，并驱逐教务长赵畸、图书馆长梁实秋，赵梁及其他教员均离校。”在校方与学生如此严重对立的情况下，杨振声不待何思源来青调停，即于6月29日“抵京，向教育当局报告学潮经过，并引咎辞职，听候中央处分。”此时，南京政府正在严厉镇压抗日救亡和一切工潮、学潮运动。7月1日下令解散了闹学潮的中央大学，予以整理。杨振声汇报国立青大学潮情况后，南京政府行政院迅即于7月3日下令解散国立青岛大学，“听候整理”。“现尚留校学生，应限于三日内一律离校，听候甄别”。7月3日当天，国立青大即电告教育部“谓已遵令解散”。青岛市政府并派保安队进校“维持秩序”。并派特务到学校搜捕学运领导人王林等，迫使学生离开学校。对于行政院解散国立青岛大学一事，山东省政府则有着自己的想法。7月5日，山东省政府召开政务会议，“议决三条，贡献行政院：（1）国立青大改为国立山东大学；（2）旧有文理院仍在青，并在济设农工学院；）（3）设农工学院时，须与省府磋商办法。又，省府协助青大款36万元，7月1日起暂停发，俟整理就绪后再发。”山东省政府的这一措辞强硬且合乎情理的建议，最终为行政院和教育部所接受。7月10日，教育部“聘定蒋梦麟、丁惟汾、朱经农、傅思年、赵畸、何思源、王苑亭、王向荣、张鸿烈九人为国立青岛大学整理委员会委员，指定蒋梦麟为委员长”，承担青岛大学校产处理、学生甄别等事务。在整理校产、甄别学生中，许多进步学生被取消学籍，并因此发生悲剧。“青大学生孙演存，家道贫寒，因甄别落选，三十一日晚九时在解剖堂用刀自杀，被同学救出，送医院疗治。”学生甄别结束后，杨振声又于8月21日和29日两次提出辞职。尽管教育部一再挽留，但杨振声去意已决，挽留无果。1932年9月2日，南京国民政府行政院会议议决，将国立青岛大学更名为国立山东大学；并准杨振声校长辞职，任命赵太侔（赵畸）为国立山东大学校长。此时的国立青岛大学有中国文学、外国文学、教育学、乡村教育、数学、物理学、化学、生物学八个专业，既没有后来独立为青岛医学院（后被青岛大学合并）的医学院。也没有后来发展为中国海洋大学的海洋、水产两系。国立山东大学后又改名山东大学，并于1958年分拆为二，原校址留下部分改称山东海洋学院（即现在中国海洋大学），大部迁去济南，并沿用山东大学名号。