总司令孙传芳所知，派朱梅村包围梅花碑浙江省长公署，将陈仪押送南京。后经人说项，总算无事。
孙传芳失败后，国民政府定都南京。陈仪于一九二八年派他到德国考察军事，实际上是向德国的兵工厂洽购军火。因为陈仪在日本士官学校毕业以后，又就读日本陆军大学第一期毕业，是正规的军事学校出身，对军械方面是比较在行的。
陈仪不谙德文，对德国兵工制造情况也不甚了解，所以在出国以前，向各方探询我国旅德人士中是否有熟悉德国兵工制造方面的人员，以便到德国后作为一个咨询的对象。
这时候国民政府的行政院院长是谭延闿，谭是湖南人，他的父亲谭钟麟也当过清朝巡抚，和俞家是世交。
这时谭延闿的儿子谭伯羽也在德国柏林读书，陈仪临行的时候，谭延闿写了封信托陈仪带交谭伯羽。
陈仪到了德国柏林以后，找到了谭伯羽交给他父亲的信札，同时问他有无懂得兵工制造的人才，谭伯羽就把俞大维介绍给陈仪。
陈仪在俞大维的协助下，经过几度的参观和研究讨论，和德国的军火商人签订了几宗军火交易。依照国外军火商人的规矩，凡是购买军火的都有百分之五的“回扣”。中国从清末的李鸿章开始，也都收受回扣。
陈仪平生以廉洁自持，当时他拒绝收受回扣。可是俞大维却向陈仪建议：如果拒绝“回扣”，白白便宜了德国的军火商人，不如收了“回扣”，上交国家，这样于个人的清廉操守无损，而国家也有实利可得。
结果陈仪采纳了俞大维的建议。陈仪回国后就把这项回扣上交，很为蒋介石嘉许，任命陈仪为军政部常务次长。这时候军政部长是冯玉祥。
俞大维于一九三二年回国，初时任国民政府参谋部主任秘书。这时陈仪是以军政部常务次长兼任兵工署署长，他赏识俞大维的才干，又是弹道学专家，所以向蒋介石保荐。在一九三三年俞大维就出任兵工署署长。
俞大维担任兵工署署长十二年之久，在他任内对所属兵工厂竭力整顿，如购置新式机器，调整人事，改进沈阳兵工厂、汉阳兵工厂等，都是为当时所称道的。
谈及这十二年的兵工署署长生涯，俞大维自己开玩笑说他是在“打铁”。八年抗战，俞大维最为自豪的，是军火供应基本充足，无人抱怨“弹药没有了”。当然，这是指轻武器的弹药，那时的中国不能生产重武器。
抗战期间，他还亲自到重庆的兵工学校讲授弹道学，每三个月必定率有关人员至
…。。