傳說中漢人移民進入台灣的第一人就是顏思齊。顏思齊出身福建海澄的人，他精通武藝是豪俠之士，少年時愛抱不平，有一次，有一個大官的奴才狐假虎威仗勢欺負善良的百姓，顏思齊看了不順眼，而錯手誤殺那名狗奴才，事後他畏罪逃到日本，並且在平戶經營裁縫店，後來發了財變成有錢人。
那個時候來日本從事貿易的中國商船，如果與日本人發生糾紛。顏思齊常常做「無秋仔老大」出面來排解，並且他做人出手大方仗義疏財，所以很受人尊重。因為他對中國貿易事務以及深諳人情世故，而且對日本生活習慣也非常瞭解，所以由他排解商事糾紛，自然是得心應手，所以顏思齊的名聲非常大。
天啟四年（一六二四年），也就顏思齊三十六歲那一年，顏思齊、鍾國夫、楊天生、顏依泉、陳德等三十八個人推選顏思齊為首領，開始以海盜為生。 中國人從事航海事業的少，明朝的鄭和三次下南洋，表面講是為了宣揚大明帝國的威權，暗中都是一種政治追殺，當時明朝的皇帝極力要追討對他十分不滿的侄兒（惠帝），聽說他逃到南洋一帶，所以他派太監鄭和統領大批的船隊三次下南洋。
顏思齊的海盜事業是在日本與中國的海岸線進行，他的海盜武器齊備，來往在對馬海峽，東海、台灣海峽、琉球群島的船隻、無論是荷蘭、葡萄牙、西班牙的商船、甚至日本、中國的商船。顏思齊全部照搶不誤，這麼好賺的事業，自然會引起另外一批海盜的覬覦於是日本海盜（倭寇）時常與顏思齊有衝突，戰鬥。
這日本的歷史也有記載，可見顏思齊當時的氣勢何等的大， 鄭芝龍也是顏思齊海盜集團中的一份子，那個時候鄭芝龍只有二十一歲，他娶一個日本老婆，是田川家的查某子、生一個男嬰、取名叫做福松，他就是後來明朝亡前後最後一個英雄───鄭成功。