楊振寧記得很清楚，那是1978年的8月19日，一個星期六。那天晚上吃過晚飯以後，他由住的北京飯店走到附近天安門廣場，那時雖然是夏天，不過時間有點晚了，廣場上沒有什麼人，天安門廣場北邊的紫禁城和四周巨大的建築，都沈在夜色裡，楊振寧在廣場邊上繞了一圈，心中很不痛快。
楊振寧是1971年最早由美國到中國去訪問的華裔科學家。當時中國還處於半封閉的狀態，那一年美國國務卿季辛吉在巴基斯坦假稱肚子痛密訪中國大陸之後，野心勃勃的尼克森總統正準備完成他的雄圖大略，想要打開和中國這個沈睡獅子打交道的大門。楊振寧在尼克森第二年正式訪問中國之前，率先公開地到大陸去訪問，他頂著諾貝爾獎得主的桂冠，那時候他在美國物理學界也已經被公認是頂尖的幾個理論物理學家之一，他的回到中國，不只在華人科學界，就是在美國的科學界，也都變成非常具有象徵意義的一個行動。
1971年以後，楊振寧幾乎每一年都再去大陸訪問。他是中國最高領導人的座上嘉賓，大陸媒體稱頌他對祖國的偉大貢獻，科學界人士也普遍地對他極為敬重。
在這樣一種地位崇隆、備受禮遇的情況之下，楊振寧會有不痛快的感覺，豈不奇怪？
扶持新中國科學改造
楊振寧在1971年首度訪問大陸，看到離開二十六年之久的中國這些年的發展，印象非常深刻。楊振寧回到中國訪問了一個多月，在合肥訪問期間，住在專門接待外賓的稻香樓賓館，看到毛澤東寫的「為有犧牲多壯志，敢教日月換新天」的詩句。楊振寧想到他1945年離開昆明到美國留學，中國在這二十六年當中所發生的驚天動地變化，當年非常破舊的合肥，如今已發展成為一個中等的工業城市。他想起幾位多年老友，在國外唸書學成後回中國建設祖國的努力，想到父親幾次在國外和他見面，說起祖國發展並要他回國報效的諄諄告誡，心中激動之情，久久難以平息，想到自己對中國並沒有什麼貢獻，有著一種難以言喻的罪疚之感。
1971年楊振寧在中國的訪問，不可避免地去了當時文革年代最著名的幾個樣板地點，像是山西大寨的紅星公社，也見到了陳永貴之類的樣板人物，這些見聞或多或少地在楊振寧的印象中，起了一些積極正面的作用，讓他認定新中國是一片欣欣向榮。後來他在美國和歐洲好幾個地方演講他的大陸之行經驗，盛讚大陸的發展，被許多人批評為過分天真；楊振寧確實有一點天真，但是還不到愚蠢的程度，因為他的演講最後結束用的幻燈片，是一張滿面皺紋的中國老人。
楊振寧在美國一直很注意中國的發展，1964年10月16日中國大陸成功地試爆了第一顆原子彈，在《紐約時報》報導中就提到了鄧稼先（編按：楊振寧一起長大的朋友，中國造原子彈和氫彈計畫的幾個重要科學家之一）是領導工作的科學家。
楊振寧訪問將要結束由北京回上海之前，鄧稼先送他到飛機場去，楊振寧臨上飛機，突然回過頭來問鄧稼先說，「稼先，我聽說中國做原子彈計畫有一個美國人叫寒春的參加了，是不是真的？」寒春（Joan Hinton）是楊振寧在芝加哥大學的一個美國女同學，曾經跟隨義大利裔的著名物理學家費米（Enrico Fermi）參加過美國的原子彈計畫。
中國參加原子彈工作的科學家，當時還沒有解禁公開，因此楊振寧的問題確實讓鄧稼先左右為難。鄧稼先於是向上面提出報告，由周恩來總理親自批准讓鄧稼先如實告訴楊振寧。鄧稼先連夜寫了一封信。
那封信送到上海的那天晚上，正好上海市革委會主任給楊振寧餞行。專人把這封信送給正在吃飯的楊振寧，楊振寧看了鄧稼先的信，知道中國做原子彈的艱辛，知道中國是在完全沒有倚賴外人幫助情況下完成的，一時之間情緒激動難抑，熱淚盈眶，必須起身告退到廁所裡整容。
當然楊振寧知道，新中國的改造，並不只是靠黃昆（編按：黃昆是中國大陸半導體研究方面頂尖的代表人物之一，也是楊振寧的好友）和鄧稼先，還靠著更多的千千萬萬個黃昆和鄧稼先，這是一個世代一個世代的「為有犧牲多壯志」所造就的。
因此楊振寧1972年6月第二次回到中國，除了探望病情日益沈重的父親，並且在北京做了十次演講和座談，其中特別有代表意義的一次座談是7月4日下午在北京飯店舉行的「高能物理發展與展望」的座談會。在這個座談會上，楊振寧獨排眾議，一開始就不贊成中國要花1億美元的代價，去建造一個高能量的加速器。當時就有人質疑楊振寧說，難道中國就一直不要發展高能實驗物理嗎？
力挽高能物理投資狂瀾
楊振寧的回答是，「中國去年的鋼產量是二千一百萬噸，可以等這個數字增加三倍以後再來討論。這個數字是美國和蘇聯的六分之一，但是美國和蘇聯的人口是中國的三分之一。中國有很多別的事情要做，中國應當對人類有較大的貢獻，但我不覺得應當就是在高能加速器方面。」
接著參加座談會的物理學家，分別從中國發展高能物理需要時間培養，可以從小的、能量低的加速器做起，日本的高能加速器的發展經驗，中國發展高能物理的戰略目標，以及中國必須自力更生建立自己的實驗基地等幾個方向，挑戰楊振寧的看法。
楊振寧顯然對於高能物理的發展已有他非常固定的看法，他對每一個人的挑戰都有相當直接而明確的答案，他反問道，「如果有1億美元為什麼不拿來造計算機，發展生物化學，培養更多的人才，而一定要拿來研究高能加速器？」他認為當時中國的物理人才還太少，由於文化大革命，教育中斷了，加緊培養更多的物理人才是更優先的要務。
經過很長近乎是辯論的談話，楊振寧說，「我有個感覺，在座的有許多位贊成中國造大加速器，這是我沒有預料到的。對我來說，這問題是很明顯的，造貴的加速器與目前中國的需要不符合。我的想法也許是錯的。但據我的觀察，我相信，我的想法是對的。」
這一個座談會的紀錄，後來在中國大陸科學界有一個「楊振寧舌戰群儒」的名稱。
當時中國科學院原子能研究所副所長張文裕主持這場座談會，會中，他沒有發表多少意見。不過，就在那一年的秋天，張文裕領銜的十八位科學家聯名給周恩來總理寫了一封信，提出發展中國高能物理的建議。周恩來總理很重視這個建議並親筆批示，隨後就成立了高能物理研究所，張文裕被任命為第一任的所長。
楊振寧的物理研究工作範圍非常廣泛，在高能物理方面更是成就非凡，他得到諾貝爾獎的工作就是在這個領域，因此對於整個高能物理的發展有非常清楚的認識，也因而有著自己的一種不同於潮流的看法。對於高能物理在1970年代以後走向一種唯象研究的發展方向，楊振寧事實上是不太滿意的，他不但認為那不會是最後的解答，也認為整個高能實驗物理當時雖然發展蓬勃，但是前景並不樂觀。因此他認為對當時經濟能力十分有限、國家發展百廢待舉、人民生活還那樣苦的中國大陸而言，去發展高能物理，特別是花大錢去建造一個高能加速器，絕對不是優先要做的事情。
但是顯然中國對於發展高能物理的興趣非常之大，成立高能物理研究所以後，科學界雖然幾經討論和波折，但是朝向自己建立起一個有大加速器的高能物理基地的方向，卻一直沒有改變。當時甚至還有一個傳說，說是到了1976年周恩來總理身體不行的時候，病危之際還再三囑咐鄧小平，中國一定要搞一個加速器的高能物理基地。
楊振寧認為，那樣的一個計畫，只是反映了那時候中國對於發展近代科學的缺乏經驗和認識不夠，而中國的科學家也只是拚命地強調自己那一門科學領域的發展，因而就製造出來了這麼一個漫無邊際的、和中國當時現實一點也扯不上關係的一個大政策，而高能物理是當時這些政策裡頭花錢最多的一個項目。
1978年8月，楊振寧到了北京。8月18號的早上，熊向輝請楊振寧吃早飯，在吃早飯的時候向楊振寧說，對於科學方面有什麼建議，希望楊振寧再提出來。熊向輝曾經做過周恩來總理的祕書，在中國黨政方面是很重要的人物。
拒絕為高能物理背書
在那以前，楊振寧已經知道張文裕等人向周總理寫建議發展高能物理信的始末。因此熊向輝邀請他吃早飯的時候說出那樣的話，令楊振寧相當地意外，因為熊向輝是代表政府的人，難道是政府裡面還有其他的想法？
那一天早上十點半的時候，鄧小平親自和方毅到北京飯店來和楊振寧談話。方毅那個時候是中國大陸科學方面的總負責人，是國務院的國務委員，在科學政策的決定方面，可說有一言九鼎的地位。鄧小平和方毅跟楊振寧談話之後，還請他吃午飯，當然楊振寧還是反對建造加速器的，因此吃完飯以後，鄧小平就跟方毅說，「楊教授還有未講完的意思，請你再跟他談一談。」
結果第二天下午五點鐘，由方毅代表政府，還有張文裕、周培源、吳有訓、錢三強、朱洪元等許多最有資望的科學家，再到北京飯店來和楊振寧談話，並且一起吃晚飯。楊振寧在跟他們談話當中，發現他們講話的口氣是一致的，他知道中國政府已經下決心要做這件事情，事情已經不可挽回。
因此吃過晚飯以後，楊振寧便到天安門廣場去轉了一圈，當時他的感覺是中國要白花很多的錢，而他自己好像非常的失敗。楊振寧說他那天晚上回去睡了一覺，第二天早上起來以後，感覺比較好一點，覺得至少自己已經做了應做的事情，成不成功是另外一回事了。
在1978年的時候，也許基本上只有楊振寧在反對這個高能加速器的計畫，但是很快地中國大陸科學界也開始反對了，到了1980年的時候就有了一種說法，說是我們這兒飯都吃不飽，高能物理所在那兒吃肥肉。
國內科學界許多人的反對，讓這個蓋加速器的高能物理計畫，變得有一點情況危急。於是1980年的1月，在廣州附近的從化高能理論物理會議中，李政道（編按：1957年和楊振寧同獲諾貝爾物理學獎）出面安排了一個座談會，討論中國高能物理未來的發展。楊振寧知道座談會的目的，無非就是要海外許多人來簽字背書，共同支持中國造一個五百億電子伏特的加速器，楊振寧說他想了一想，決定不去參加這個座談會。
這個由李政道主持的座談會討論了一、兩個鐘頭以後，草擬了一封信，大力支持中國建造一個加速器，並且要大家簽字。然後這些開會的人就都坐飛機到了北京，並且立刻把這封信直接交給中國政府的最高當局。後來鄧小平還出面請所有物理學家吃飯，但是沒有再討論加速器的事情。
科學家遺留中國文人風範
1980年從化會議以後，過了沒有多久，楊振寧在美國聽到有人對他很不滿意，認為為什麼大家一致簽名支持的事情，只有楊振寧要反對。於是楊振寧在1980年3月12日寫了一封公開信，說明他的立場。
到1980年代中期，因為國內反對的聲浪很高，加上經濟的考慮，於是這個五百億電子伏特質子加速器的計畫，就變成為一個能量比較低的電子加速器，經費也縮減為原來四分之一的2500萬美元。
中國大陸的高能加速器計畫，也就是北京電子正電子對撞機（BEPC），在1984年由鄧小平親自主持破土動工，到1989年完成。鄧小平非常支持這個計畫，他似乎要以這個基礎科學的計畫，做為他經濟改革開放之外的另外一個里程碑。
楊振寧雖然反對造加速器的計畫，但是後來對於中國派人出國進修高能物理與加速器研究，也還是熱心地幫忙聯絡安排。不過楊振寧認為，如果由物理科學的意義來說，北京電子正電子對撞機的物理結果，事實上在物理方面沒有真正重要的意義，宣傳成就超過實際太多。另外就是在高能物理方面訓練了幾千人，這些人將來發展怎麼辦，也是沒有完全解決的問題。
楊振寧一直認為他自己是很幸運的，因為他的科學研究生涯正好碰到高能物理向上快速發展的時機，但是這個美好的時代已經過去了，他說如果他現在做研究生，絕對不會再搞到高能物理裡頭去，他也不鼓勵自己的學生搞到高能物理裡頭去。
楊振寧一直有著這樣的信念，他也堅持著這樣的信念，因此在中國的頭十幾年的經驗，雖然貴為中國政府最高領導的上賓，但是因為他堅持反對高能物理的立場，得罪了不少高層領導人，譬如說負責中國科學方面決策的重要人物方毅，就對楊振寧十分的不快。
楊振寧在1980年3月12日那一封以「親愛的朋友們」開頭的英文信上寫著：
我瞭解到一些參加從化會議的人認為我不在那一封信上面簽字，是很奇怪的事情。這是一個簡短的解釋。
當然我們每一個人都可以由他們各自對於中國社會，對於中國高能物理發展的歷史和問題的瞭解，來形成他們自己的意見，而這裡面最重要的是中國人民的需要和殷望。在中國有很強烈的意見，反對五百億電子伏特加速器的計畫，這個計畫被認為像是一個「超級強權」，而其他的領域是「第三世界」……
我有意的不參加廣東那一個會議，因為我知道那個問題非常複雜，有許多是我不瞭解的。我覺得我不應該積極試圖去影響其他人的意見。而且，中國的領導人和科學家已經十分清楚我的意見。
差不多二十年以後，楊振寧不但說自己的看法依然沒有改變，也覺得當年他的那一封信寫得很好，他以為裡頭最重要的一句話就是：
我不能夠無愧於心地去簽署這一個文件，因為我認為真正需要的不是我的簽名，而是中國人民的簽名。
