引用民自党の益谷秀次が、一九二〇年（大正９）の初当選以来、政友会を共にした旧友である山崎を訪ねて語りかけた。 「君は水戸の生れだが、水戸の人間というのは由来正義を尊び、しかも常に国の利、不利を考えて行動する。 ・・・・・・これが正義というのに値するだろうか。 ・・・・・・謀叛政治が憲政の常道のように大手をふって歩くようになったら、民主政治の将来はどうなるだろうか。 僕は君の古い友人だ。 私情をもってすれば、長い労苦を重ねた君を一度は首相の椅子に坐らせてやりたいとも思っている。 しかし、今度のような方法で、君を首相にすることは・・・・・・」。 山崎は何かホッとしたような明るい顔になって、昔からの友人同志としてウイスキーを勧めながら談笑した。 翌朝、山崎は議員辞職を届け出た。首班になる資格に自ら手を下したのである。