在日本有一個「中華民國留日同學會」，是長期以來由中華民國大使館文化參事處所控制操縱，其主席、幹部都由文化參事處事先核定。一年辦一次回國訪問團，來回機票有打折，還可以享受一些機關的招待；一年更舉辦一兩次免費餐會，留學生蜂擁上桌一掃而空，很難看。1960年《台灣青年》出現以來，在日台灣留學生意識明顯提高，自主性增強，在1961年末該同學會改選時，有一股新力量興起要競選委員，文化參事處一再拖延改選，到1962年1月底才實行選舉。2月委員會召開，選出謝南強（早稻田大學商學研究所）、許世楷（早稻田大學政治學研究所）為正副主席。這一個結果是由方仁惠（早稻田大學商學部）、王義郎（東京大學法學政治學研究所）、許世楷等所導演，方仁惠等標榜留學生的自主性，更有「台灣青年社」組織性協助所致使。
新同學會舉行委員會異於過去，如為了維持自主性不讓文化參事處人員參加等，頗受一般同學歡迎，在3月29日所舉行的郊遊，就有207名會員參加。 除此，東京大學中國同學會、早稻田大學留學生會、台灣大學留日校友會也相繼改選，東京的留學生活動頻繁起來，台獨、國民黨的對立以外，台獨、共產黨的對立也漸漸提昇。
9月，中華民國留日同學會主席謝南強轉留學美國，由副主席許世楷接任，但是國民黨職業學生的委員黃清林等主張改選，委員會意見分裂。黃自行選舉，自任主席另成立同學會，同學會遂分裂。
至1963年1月，在文化參事處和職業學生黃清林的策動下，分裂同學會親國民黨的一方著手改選，江丙坤（東京大學農學研究所、現經建會主委）、馮欣伯（東京大學法學政治學研究所）為正副主席。許世楷這一邊也招兵買馬，6日成立在日台灣學生聯誼會，總幹事為張榮魁（國立立樂大學研究所），成立時丘念台（國民黨中常委）、林以文（華僑總會聯合會會長）也出席祝賀，參加者約有700多人。
9月，學生聯誼會發給獎學金，每月一萬圓，對象二十人。引起對留學生的服務戰爭。江丙坤的中華民國留日同學會也決定發給獎學金，每月六千圓，但是對象一百人。學生聯誼會幹部多數是台灣青年會會員，是青年會的外圍團體，在學生運動中發揮很大力量，至1966年1月發行《台灣學生聯誼會會報》，簡稱《台生報》，至今仍由連根藤繼承發行中。