姚連蔚出任全國人大副委員長以後,陝西省委第一書記李瑞山說:“別讓姚連蔚從陝西飛了。”因此,姚仍兼任陝西省總工會主席,住在北京阜成門外馬神廟全國總工會宿舍大院裡。他除了例行的外交禮儀事務外,還兼任國務院常規武器裝備領導小組副組長,因為他是軍工廠工人出身。雖然當車工和領導科研是兩回事,但畢竟名義上有點沾邊。
姚連蔚說:“擔任候補中央委員和人大副委員長,對我來說是一種不堪重負的壓力。自己只有初中文化程度,就那麼點兒見識和能力,而天天要處理的都是國家大事,一舉一動都可能載入史冊,簡直如坐針氈。但是不說話,不點頭,又不行,只好硬著頭皮撐。好在那時40歲出頭,精力充沛,常常兩天兩夜不睡覺看材料,了解要處理事情的來龍去脈。”
當時,中央對與他一起提升的吳桂賢、孫健(國務院副總理)、李素文等人實行的都是巴黎公社式的工資制度,提職不提薪。姚連蔚當全國人大副委員長,拿的還是1959年的四級工資。每月幾十元。他的糧食關系、工資關系一直留在陝西的工廠,因此,他實際上還是個工人,只是領取高幹補貼而已。
1976年文革結束。姚連蔚開始走下坡路了。1977年7月12日,中央政治局委員吳德、紀登奎、陳永貴三人約他談話,說:“陝西有人告你的狀。如果再讓你繼續工作,怕群眾會有反映,中央不好解釋。因為,事情尚未弄清楚。”於是,姚連蔚開始停職接受審查。與他前後接受審查的還有一大批人:吳桂賢、孫健、莊則棟、孫玉國……一年以後,姚連蔚被送回西安繼續接受審查。1979年2月,在正月十五鬧元宵的那一天,他被逮捕,關進了西安北郊的監獄。
兩年半的關押以後,1981年10月29日,陝西省人民檢察院決定對他免予起訴。《免予起訴書》,上面寫著:
1967年9月2日,西安地區兩派群眾組織在西郊發生大規模的武斗事件。9月4日,姚連蔚主持召開“新西機”(即今昆化機械廠)委員會,研究決定對另一派參加武斗的部分人員進行審訊,索取參與武斗的口供。其間,有一人被打成重傷,姚連蔚看到後,未予制止,以致那人傷重死亡。姚連蔚又召開會議,統一口徑,編造死因,企圖欺騙群眾,逃避罪責。這觸犯了刑法143條的規定,已構成犯罪。但考慮到姚連蔚的犯罪行為是在“文化大革命”的特定歷史條件下發生的,未經關押教育,故決定予以從寬處理,免予起訴。
出獄後,姚連蔚成為家庭管理員、采購員、炊事員、學習輔導員。他的大兒子是火車司機,二兒子是煉鋼工人,三兒子正在技工學校讀書,可以說是個工人之家。姚連蔚說:“艱難時期已經過去,我沒有什麼可憂慮的了。”
姚連蔚在北京任全國人大副委員長時,拿的還是他1959年四級工的月薪58.86元。近幾年,周內多次調整工資,同姚一起進廠的工友月薪已提到130多元,他夫人的月薪也升為110元,而姚仍是58元。姚連蔚已申請退休,昆侖機械廠年輕的廠長邱世傑說,應當歷史地看問題,他主張對姚退休時的工資放寬一些。
姚連蔚的夫人王桂蘭——昔日該廠廠部檔案室機要員、後在車間當辦事員——是山西汾陽人,已屆知命之年,她“處事不驚”,是“賢妻良母”。她不為丈夫做高官而趾高氣揚,也不因丈夫“削職為民”而萬念俱灰。王桂蘭說她和姚連蔚曾在一個車間、一個班組上班,同一天加入共產黨,志同道合,心心相印。
姚連蔚說,他有賢慧的妻子,因而能夠活下來。出獄後,他成為家務管理員、采購員、炊事員、學習輔導員。他27歲的大兒子已是火車副司機,26歲的二兒子是煉鋼工人,18歲的三兒子正在技工學校讀書。姚連蔚在長安老家還有兩間平房,他不時回家看望鄉親,種花養草,爬山釣魚,尋求樂趣。盡管他的一只眼睛得了中心網膜炎,盲而不瞎,只能看大目標,但他還是把精力放在讀書上。他把中醫書當作小說閱讀。他並沒有“不為良相平天下,亦當為良醫濟世人”的志向,他的學習動機,是因為工廠不給他報銷醫藥費。
1984年,中共陝西省紀律檢查委員會決定開除其黨籍,撤銷黨內外一切職務。