民國六十八年，嘉義農專校長一職出缺，農業專家李崇道推薦時任農復會組長的余玉賢，其他競爭者還有黃大洲、孫明賢，各有政府高階官員為推薦人。當時的教育廳長謝又華在與三人會餐之後，選擇了余玉賢，因為他「不多講話，是個做首長的材料」。
不論是為人或從政，沈默內斂都是余玉賢醒目的標幟。他在嘉義農專的同事趙少平指出，在朋友間幾乎沒有一個人會自認和余玉賢是親密的好朋友，因為「他一直都是淡淡的」。
「他從來不說自己心裡想的事情，也從來沒聽他批評過什麼。」研究所時的室友習以為常地說，余玉賢從不談自己的抱負，對於自己沒把握的事也絕口不提。
如果把李登輝「沒有聲音，實實在在做事」的用人法則印證在余玉賢身上，就可能得到適切的詮釋。在農林廳六年，他的朋友、部屬、甚至機要秘書都沒有聽過他宣傳自己的功勞或發牢騷；只有一次在省議會答詢時，他出人意表地指責中央長官不很瞭解農業、不關心農民疾苦。不久，他就被調升至農委會主委，主管農業大政。
李登輝的化身