日本黑幫分子身上刻有各種各樣的刺青。日本的黑幫眾多、來歷不一，各幫派自己描述的起源也與歷史記載大相徑庭。按他們自己的說法，黑幫的開山鼻祖都是些劫富濟貧的俠士，專門保護家園不受外來強盜所擾。有些幫派甚至宣稱自己繼承了日本浪人的衣缽(日本浪人是指日本17世紀政治動盪後，離開大名四處流浪的武士)
還有人稱日本黑幫實際上脫胎於過去特立獨行的“傾奇者”，他們衣著怪異、舉止怪誕，常常身配長刀，恐嚇村民，甚至濫殺無辜。其實，關於日本黑社會的起源，可以說是上述幾個故事的混合。在武士階層被廢除之後，許多武士失去了生活重心，逐漸轉向暴力犯罪。也有些武士開始經商或從事見不得光的行業(如開設賭場和妓院) 。這些暴徒、浪人以及進入日本市場體系的其他新生力量都有個共同點：他們不被社會接受。
在日文中，やくざ一詞就反應了黑道成員卑下的地位。這個詞源自日本的牌戲“おいちょかぶ(Oicho-Kabu)”。“おいちょかぶ”類似於21點，遊戲的輸贏由每手牌點數之和的尾數大小決定，最小點數為0。如果摸到8、9、3三張牌(三張牌之和為20)，那麼這一手牌的點數就是0，持牌者輸。日語中 8、9、3的發音分別是“や”、“く”、“ざ”，因此這三個發音組合起來就成了“やくざ”，也就是“無用的、沒有價值”的意思
“やくざ”原指黑幫分子，但是現在這個詞也泛指日本的有組織犯罪。暴力団(Boryokudan)與やくざ同義，它是一個貶義詞，指那些沒有傳統榮譽感的暴徒。日本警方在提到黑幫分子時，常用“暴力団”一詞。
日本黑幫直接起源於18世紀一些准合法的商人，他們在大城市的街道上開設賭場或兜售商品，被人們稱為“博徒(bakuto)”和“的屋(tekiya)”，也就是指巡迴的賭檔和商販。後來這些人逐漸結成團夥，並發展成等級清晰、規矩森嚴的黑道家族或幫派。至今，日本的黑社會團夥中仍有被稱為“博徒”和“的屋”的兩派。
到了19世紀晚期，日本黑幫與“民族主義”、“軍國主義”和政治聯繫到了一起。許多黑幫開始與政客勾結——政客利用他們暗殺對手，武裝貿易集團，甚至參與了與周遭國家的戰爭。二戰後，日本黑幫借助混亂的局勢進一步加強了在日本的政治經濟地位。
日本的黑道家族表面上和黑手黨家族的結構一樣，由組長(kumicho，相當於黑手黨的教父)來統管整個家族，在他之下還有若干舍弟、幹部、若頭，形成一個金字塔結構。此外，各地區還有各地區的頭目、副手、顧問以及眾多的普通會眾，這讓日本黑幫的結構更加複雜。有的黑幫家族的結構有所不同，是由小幫派結成的聯盟。
黑幫組織中的核心架構是一種類似父子的關係，這一關係把所有的組織成員牢牢地綁在了一起。在黑幫家族中，“父親”會借助其影響力來保護“兒子”，同時給予 “兒子”忠告和指導，以此換取“兒子”完全的忠誠和無條件的服從。日本社會對榮譽和傳統的重視也進一步加強了這種關係。但如果“兒子”沒有完成“父親”交待的任務時，這種父子關係並不能保護他免受懲罰，例如逐出幫派甚至斷指。家族中的每一個人都可能既是“父親”又是“兒子”——面對上級時扮演“兒子”的角色，面對下屬時則扮演“父親”的角色。
不論是加入黑幫家族還是在黑幫家族中結為父子關係都需要舉行一種特殊的儀式。在儀式中，主持者先為新加入的成員和他的老大各倒一杯酒，讓二人各喝一點，隨後交換酒杯再喝一點。老大要將杯中的酒喝完，而新人只能小口啜飲。
儘管許多日本黑道家族有明顯的民族主義烙印，但有的幫派也會吸收韓國成員。日本人常常瞧不起韓國人，這加劇了日本黑道的卑下地位。而日韓之間高回報的走私交易也加強了韓國對日本黑幫的影響。
日本黑社會組織就是犯罪團夥，他們像所有犯罪團夥一樣參與各種可以牟取暴利的活動。非法賭博和賣淫是日本黑道的主要行當，走私毒品、軍火和色情出版物等違禁商品也是有利可圖的產業。而徵收保護費的做法更是日本黑幫賺錢的常用招數。
日本黑幫還利用非法所得經營房地產、建築和娛樂等合法產業
在黑道家族中，女性通常被邊緣化。甚至連黑幫成員的妻女也只能得到比下人稍高一點的待遇，有時她們還會成為黑幫成員淫樂的工具。婦女很少在黑幫中掌權，不過也有特例。
日本社會發展的不同時期對紋身的態度是不同的。日本曾接受紋身的行為，但也一度宣佈其為非法。後來，他們被視為是與“活受罪”相同的處罰，專門用於被流放的罪犯，是恥辱的標誌。再後來，慢慢擴展到勞工間用以顯示兄弟感情的幫派標誌，情人間海誓山盟的秘密見證，或凡人受到佛教庇護的護身符，等等。這些發展都經歷了一定的歷史階段。從1720年開始，紋身正式作為對罪犯的懲罰，取代以前的刑罰——割除人的鼻子或者耳朵等。紋在罪犯身上的圖案主要有兩種：手臂上的環狀紋身圖案，或者是刻在額頭上的文字。這種處罰方式持續了150年，直到1870年由明治政府廢除
許多黑幫的敲詐和勒索都經過了精心策劃，以維護日本式的傳統禮節。黑幫組織可能會邀請某公司參加高爾夫比賽，組織假的慈善募捐或者以極高價格購買某些商品。這些公司的領導人雖然沒有受到直接脅迫，但卻非常清楚“請求”背後的威脅，因此他們都會乖乖與黑幫合作。