比謝雪紅更早到莫斯科接受共產黨教育的許乃昌，在一九二六年一月，在東京成立了「台灣新文化學會」。人員有商滿生、黃宗九、蘇新、楊貴的台灣左派留學生。此學會乃是日共的外圍組織，在同年九月把該會擴張為「東京台灣青年社會科學研究部」。進行對台灣留學生的共產主義思想教育。
不到二年的時光受到日本警察在日本對日共的「三一五大逮捕」的影響，所以改名為「台灣學術研究會」，只是更名但實質上並無變動，繼續進行對台灣留學生的共產主義運動。
一九二八年四月二十三日，從出席上海台灣共產黨成立大會的陳來旺回到東京，立即展開工作秘密連絡台灣學術研究會（舊名為社會科學研究部）的同志，計畫成立台共在日本的中心。隨後八月台共中央常任委員兼書記長林木順也到東京，所以在九月二十三日，林木順、陳來旺再加上由陳來旺介紹二位在台灣學術研究會的積極份子並已加入台共的林兌、林添進等共四人同會合於東京戶山，成立了「台灣共產黨東京特別支部」，完成了台共東京機構。並由陳來旺為東京負責人，建立與駐上海及台灣島內的黨幹部連絡，於是同年十月林木順離開東京歸返上海。 另一方面日共的黨中央在三一五之後的重建改由市川正一、高橋貞樹、三四村四郎、間庭未吉、鍋山貞規為主向陳來旺指導，同時將台灣學術研究會及東京台灣青年會由日共改編為台共的外圍組織並加強活動。又十一月二十九日，陳來旺派林兌攜帶林木順所指示的「農業問題對策」返台，與謝雪紅打通連絡線，並協助台灣農民組合及台灣文化協會進行共產主義化運動。
日共中央委員長渡邊政之輔，他為達成台共的組織及活動而來台灣，一九二八年十月六日從上海搭乘「湖北丸」至基隆港時，遭到基隆水上警察所懷疑，因在行李箱上的名子與買船票的名子不同，被迫與警察同行到水上警察署偵辦，在基隆碼頭以手槍先擊斃這警察，渡邊政之輔要跑走時被石釘絆倒，無法逃脫，許多警察前來包圍，於是自殺身亡，年二十九。這位與台灣共產黨自創黨以來有密切關係的日共中央執行委員長渡邊政之輔的死亡，對台灣島內組織打擊甚大。再就是日本共產黨乃遭到「三一五大逮捕」，並在翌年一九二九年的「四一六大逮捕」又遭一網打盡，同年六月十六日，台共成立時的「政治大綱」再一個起草者佐野學（早稻田大學講師）也在上海被中國官憲逮捕。於是，對于台灣共產黨比較熟悉的日共幹部均被捕殆盡。台共與日共的關係因而嚴重受損。
日警在日本也馬不停蹄努力逮捕共產黨員，首先是日共中央事務局長、間庭未吉（此人被疑為日本警察的間諜）遭警察逮捕並被發現大量齊全的日共組織資料，同時有關台灣共產黨的文書也在其中，文件中有三個名子是台灣人。日警發動一九二九年的「四一六大逮捕」，並對台灣人左翼團體「東京台灣學術研究會」也不放過，逮捕會員四十三人，從中發現了這三名台灣共產黨員即陳來旺、林兌、林添進。於是這剛成立六個月的「台灣共產黨東京特別支部」，即告消滅。陳來旺被判刑六年，林添進四年，林兌到一九三一年三月才被保釋出來。