徽商指徽州的商幫，徽州指古代安徽的六縣：歙縣、黟縣、休寧、祁門、績溪、婺源。與其他商幫相比，徽商的家族性最突出。所以，對徽商的認識要從徽州獨特的家族文化入手。
徽州的原住民是山越人，但形成徽商的主要是來自河南的移民。最早的移民開始于東漢末年，主要的三次移民是西晉、唐末五代和南宋之后。這些移民原來在當地多為名門望族，移民的主要原因是戰亂。名門望族不同于貴族。貴族是世襲的，要先有權而后有錢。名門望族是自己奮斗出來的，要先有錢而后才有權。一個家族要能成為名門望族，要靠族中有能力又甚為勤奮者。在任何一個時代，他們都是精英。他們要代代事業成功，有錢或有人作官，并且維系文化傳統（所謂書香門第），才能傳承下來。作為名門望族不是指某個家庭，而是指許多家庭由同宗的血緣關系為紐帶組成的一個團體。每個家族都有自己的家譜、家規、宗廟和義地。移民也往往是整個家族的行為。徽州有54個望族，主要的有程、汪、吳、胡、王、李、方、曹、鮑等。這些家族主要來自河南等北部省份。
這些過去的名門望族由于戰亂被迫移民徽州。到這里后，過去的財富和地位都沒有了。他們要重振自己的家族地位就必須重新奮斗。移民的艱辛使他們作為家族的凝聚力更強。所以，許多地方的家族都逐漸消失了，而徽州的家族一直保持了下來。徽州這個地方，山多地少，生存與發展條件相當艱難。但此地又盛產茶葉、竹木等，于是這些移民就不得不進入商業。早在東晉時期，徽州人已經開始從商，所以有人認為徽商應該從東晉開始。但更多的學者認為，東晉時已有徽州人從商，但徽商的形成還是在明代中期。明萬歷年的《歙志》記載，正德以前，民間還是“婦人紡織，男子桑蓬，臧獲服勞”。正德末嘉靖初才有“出賈既多，由土不重，操資交葽，起落不常”。嘉靖時徽州人以家族為中心結伙經商已相當普遍，如徽商程君門下有數千人，經商于兩廣，“其族人無不沾濡者”。這時徽商的主業已為茶葉、木材、典當和鹽業。弘治五年（1429年），開中制改為折色制之后，徽商作為一個商幫開始形成。
徽商的家族制特色，體現在他們經商的方方面面，而且決定了徽商不同于其他商幫的特色。
首先是資本的籌集。日本學者藤井宏總結出徽商資本形成有七種方式：勞動資本（白手起家積累）、遺產資本、婚姻資本、官僚資本、援助資本（一個家族內的互相援助）、共同資本（一個家族內各個家庭的合伙制）和委托資本。其中，作為主要籌資方式的遺產資本、婚姻資本、援助資本、共同資本完全是家族式籌資形成。而官僚資本，即用做官賺的錢從事商業活動和委托資本，主要也是在家族內實行。這種家族內籌資的方式，靠家族內的血緣關系來維持，并保證誠信。這就沒有其他商幫不同家族之間的合伙制，也沒有出現晉商那種股份制。當其他商幫的企業是以家庭為主的家族企業時，徽商的家族企業是真正的家族為主。
其次，徽商在經營管理中都顯示了家族的特點，或者說徽商經營管理的特色都是由家族文化決定的。第一，借助家族勢力建立商業壟斷。這主要是采取兩種形式，一是借助家族勢力控制某一城鎮或地區的全部貿易。如婺源商人程棟最早進入漢口，以后其族人逐漸進入漢口，形成程氏家族對漢口商業的壟斷。其他如黟縣商人朱承訓在江西吳城，徽商許孟潔在正陽鎮，都是借助于家族勢力，建立了壟斷地位。二是借助家族勢力控制一個行業，如在各地的典當業都由休寧各個家族的人控制。第二，借助家族勢力展開商業競爭。在信息不發達的時代，信息就是金錢。徽商在從事長途販運貿易中需要及時掌握市場的瞬息變化，于是他們借助于家族關系收集信息，是他們成功的保證。如績溪商人章必泰就是靠族人提供信息而成功的。徽商極為重視修族譜，這不僅是維護家族統一的必要條件，而且也是獲得商業信息和幫助的聯絡圖。而且，家族關系也為徽商貿易中運輸、倉儲、采購、銷售提供了便利條件，從而降低了成本。商業中是需要互相幫助的，這就是胡雪巖所說的“花花轎子人抬人”。徽商中密切的家族關系和各家族之間的聯姻，為這種互相幫助提供了可靠的平臺。