引用第二十四回議会（四十年十二月二十五日開会）を前にして予算編成にあたり、 阪谷は一億五千万円の歳入不足を補う為兌換券を増発すべしと主張した。 しかし、これには井上と松方が反対で増税でゆけという。 しかし第十回総選挙（四十一年五月十五日）をひかえて政友会は増税は与党の票を減らすというので反対である。 内閣が元老と与党の間に挟まっている間に山県と阪谷の間に衝突が起きた。

阪谷は余分な予算は削ろうとする。 山県有朋の養子である山県逓相は（多分山県側近の意をうけて）「鉄道建設及び改良費は一文もまけるわけにはゆかぬ」と頑張り、 行政予算がわかって“政治予算”のわからない阪谷は、元老たちの緊縮予算でゆけの声に忠実に財布の口を締め、 ついに山県逓相と激突し、一月十四日二人そろって辞表を出してしまった。 西園寺は二枚の辞表を受理して二人をやめさせ、阪谷の後任には松田正久を入れ、 山県のあとは原の兼任とした。

こうして渋沢と山県の女婿は同じ日に内閣を去ってしまった。 この事件に関し消息通は次のように分析してみせる。 阪谷と山県の背後にはそれぞれ若槻次官と仲小路次官がいて共に両大臣を挑発していたが、 その背後では桂が糸を引いていたので、断乎両成敗にしたのだという。