1804年，兩淮鹽市發生了一起與歙縣商人有關的“抗旨誤稅”案。故事的主角是剛剛去世三年的兩淮總商鮑志道的弟弟鮑芳陶。他一直在淮南業鹽，1803年他被兩淮巡鹽御史佶山強制派往淮北辦理鹽務。
此時，淮北鹽務已經難以為繼，積壓的鹽引到1799年時已經達30多萬引。 1802年，商人主動請領的鹽量才400引。可以說，淮北鹽場基本被鹽商所拋棄。鮑芳陶也不看好淮北鹽務，便稱病不願聽命。
如果大家都效仿鮑芳陶，那麼這一年的鹽稅任務肯定完不成。佶山大怒，就拿鮑芳陶開刀，上奏告發。此事驚動了嘉慶帝，他責成兩江總督、總理鹽法大臣、新授兵部尚書陳尚文到揚州查辦案情，並在一個多月內連下了三道上諭。
淮南很多鹽商都出面為鮑求情，情願攤付鹽課，風波才算平息。有人說，鮑家朝中有人為官，之後才不了了之，但不論如何，經歷這件事情之後，鮑氏子弟基本絕跡兩淮。
鹽業官鹽的攤派等浮費太多，且淮南運費較高，增加了業鹽的成本和銷售價格，而私鹽氾濫，價格低廉，對被攤高的官鹽衝擊很大，再加上清朝鹽場銷鹽的區域劃界，並未斟酌得盡善盡美，像江南的鎮江府，規定必須吃浙鹽，但兩淮的鹽就近可得，價亦甚優，卻不准市民買浙鹽。也有一些鹽商鑽縫子，竄貨走私私鹽到鎮江府。各個鹽場都存在類似的情形，鹽商無利可圖，自然不想幹。
早在1704年，江南總督阿山就對兩淮鹽場多收的浮費進行了調查，發現多達13項浮費應該禁收，譬如賞差役銀、送遠近別敬銀、饋送官員及過往程儀雜費、鹽院書差解帶鹽收銀等項。以兩浙鹽場為例，1726年戶部調查發現，兩浙應納鹽課不到29萬兩，但每年收取的浮費卻高到42萬多兩。在三年半的時間內，三任鹽臣先後收取的浮費就高達71.2萬兩。其中，34.2萬兩落入三人的腰包。鹽政官阿克當受賄100餘萬兩，被稱做“阿財神”。
1768年，兩淮鹽政官高恆、普福、盧見曾三人，因受賄被判處死刑。侍讀學士紀曉嵐因給親戚盧見曾私通信息，被革職發配到烏魯木齊。在過去20多年的時間內，高恆等三人先後收受賄賂近百萬兩白銀，他們對商人的越軌行為睜一隻眼閉一隻眼，致使兩淮鹽商銷售私鹽，偷漏鹽課多達1000多萬兩白銀，而定額官鹽無商問津、無民願購，出現滯銷。
平時徽州鹽商對於朝廷用兵、接駕、賑災等都很捨得花錢，可以說是一擲千金。就僅軍需報效來說，在乾隆、嘉慶兩朝，因朝廷用兵，淮商就先後7次捐銀2100萬兩，浙商才捐540萬兩。
其實，這些銀兩並非完全是從鹽商自己腰包裡掏出來的。兩淮鹽務總商可以在鹽務實踐中轉嫁或消化這些費用，譬如，通過攤高鹽價，或者將官鹽通過私鹽渠道流入市場。
隨後，一批兩淮大鹽商被清政府整肅。曾經顯赫一時的幾大鹽商家族成員黃源德、徐尚志、黃殿春、程謙德、江啟源等被逮捕，革去職銜。儘管江春被赦免，但也被抄了家。曾經飛黃騰達的他，到此時連生活都難以為繼，乾隆從庫銀中藉了30萬兩，“令其作本生息，以為養贍之計”。 1789年，江春病死。他沒有親生兒子，唯一的過繼之子江振鴻，生計窘迫。
1832年，兩江總督陶澍再次改革鹽政，將綱鹽製變為票鹽製，此時徽商已經風光不再。票鹽製的實施，等於剝奪了兩淮鹽商的鹽務壟斷特權，鹽商手中掌握的銀票頓成一堆無用廢紙。
陶澍變法之前，先以私書徵求重臣曹振鏞的意見。在曹振鏞點頭後，改革才得以實行。曹振鏞一生經歷乾隆、嘉慶、道光三朝，為官長達52年，清朝官宦幾乎無人能及。當時，曹家親屬也反對鹽法變革，紛紛反饋到曹振鏞處，曹振鏞以“焉有餓死之宰相家”，把親屬的聲音擋了回去。
之後，清政府為了追繳鹽商歷年所欠下的舊額鹽課，採用抄家沒產的辦法，使得許多大鹽商遭到空前的沉重打擊而破產，或者頓變貧戶。過去的高堂曲榭，第宅莊雲，“改票後小及十年，高台傾，曲池平，子孫流落有不忍言者。舊日繁華，剩有寒菜一畦，垂楊幾樹而已”。
揚州因鹽商而出名而繁華，也因鹽商衰落而成過眼雲煙。王振忠在《徽州社會文化史探微：新發現的16～20世紀民間檔案文書研究》中藉用臼井佐知子的話說：“乾隆末年以後，有關徽商的記載減少了……這個變化主要是當時有相當多的徽州人向以江、浙為中心的各客商地移居，並在那裡定居下來。”
1850年以前，鹽商是徽商的中堅。以鹽業來說，徽商主要集中於兩淮鹽場，尤以揚州為中心。 1832年票鹽法實施前後，徽州鹽商一敗塗地。
鹽、茶、木、典是徽商所涉及的大宗行業。道光（1821～1850）以後，茶商支撐著徽商的貿易殘局。徽商主要收購安徽、江西兩地名茶，內銷以川、贛、皖、蘇等地為重，但外銷茶佔據80%～90%的比重。茶由江西運至廣州，更多是水運到杭州，再轉運到上海，售給茶棧和洋行。 1891年12月28日出生在上海的徽州人胡適，祖上就是經營茶莊的。
18世紀初，一首民謠裊繞在徽州的山間小路上，反映了鹽業衰敗後徽州人去處的微妙變化，歌詞這樣寫道：
前世不曾修，出世在徽州。年到十三四，便多往外溜。雨傘挑冷飯，背著甩溜鰍。過山又過嶺，一腳到杭州。有生意就停留，沒生意，去蘇州。轉來轉去，到上海，求親求友尋路頭。同鄉多顧愛，答應肯收留。兩個月一過，辦得新被頭。半年來一過，身命都不愁。逢年又過節，寄錢回徽州。爹娘高興煞，笑得眼淚流。
“徽杭鎖鑰”，人稱“江南第一關”，位於績溪伏嶺，翻過這一條崎嶇的山道，徽州人就可以來到浙江，這是徽州人去杭州、蘇州的一條陸地交通要道。徽商中的許多人都是通過絲布貿易發財致富的。杭州是絲業中心，徽州與杭州一水相連，地相鄰，習相近，人相親，作為江南兩大都會、絲織業中心之一和兩浙鹽運司所在地，杭州成為很多徽州人闖天下的第一站。
當時蘇州是佈業中心，而且還是辦銅官、民商局之所在地。從16世紀初到18世紀末，蘇州西北邊的“金門”和“閶門”，以及城門附郭的南濠一帶，始終是米豆、絲織綢緞、加工棉布和種種海外之貨的集散地。經銷綢緞的杭州商人也是以蘇州為最重要的綢緞轉運市場，然後將綢緞發售到河北、山東、陝西、山西、兩湖地區、四川、雲南、福建、廣東等地。在蘇州經營徽菜的徽館，在清朝同治年間就有數十家，其中以績溪伏嶺下人最多，在商界聞名的蘇州“狀元潘”、“醬園潘”，幾乎是歙縣大阜潘氏家族在蘇州興隆的標誌。
1843年12月，上海開埠，這讓蘇杭兩座城市的命運從此不再掌握在自己手中，廣州茶葉外銷市場則遭遇重挫。 19世紀50年代中期以後，我國生絲出口幾乎全部通過上海運往世界各地，僅從上海運往美國一地的茶葉，就比廣州出口的全部茶葉還多。從廣州北上上海，很快成為很多徽州茶商的戰略選擇。
徽州到上海，較之到廣州，距離更近，徽州茶商在上海延續了其茶葉的生意並擴大了規模，但徽州茶商的聲勢和影響，遠不及山西茶商對俄的貿易，在海外貿易方面，他們又趕不上臨江靠海的江蘇、福建商人，而太平天國運動更是讓蘇杭迅速衰落。 2004年12月25日，周武在東華大學以《近代史上的江南與上海》為題的演講中指出：
作為太平軍與清軍搏殺的疆場，蘇州遭受了前所未有的破壞，經濟上的富庶與繁華隨風而逝，文化上的精緻與優雅亦如夢幻般消失了。原先異常喧鬧的城西一帶，以及通和坊東口至瓣蓮巷北一帶，戰後已繁華不再，一派寥落，淪為荒郊。到20世紀20年代，鬱達夫從上海到蘇州旅遊，他所看到的蘇州已變成誇示“頹廢美”的“sleepy town”（沉睡的古鎮）。
和蘇州的命運相似，杭州從19世紀中葉開始加速走向衰落。 1853年太平軍“闖入”江南後，封鎖了大運河上的交通運輸，切斷了貫通南北的經濟大動脈，清政府和商人只好發展途經上海的海上運輸，杭州因此喪失了以京杭大運河為南北命脈的古老商業網絡中的戰略地位。不僅如此，戰爭讓1860年年初號稱天堂的杭州，城市人口從80餘萬驟減至20萬，一度僅剩下數万人。
不僅如此，茶葉在出山之前的出山稅也逐年遞增。 1853年，每引茶的出山稅在9錢3分，1862年已經提高到每引2兩零8分，1863年後則達2兩4錢8分。並且，外銷用茶還要收取每100斤2兩5錢的關稅，而洋商運茶交納的子口半稅，遠低於徽州茶商所交之厘稅，茶商隱受虧損，但卻無可奈何。
更為致命的是，光緒（1875～1908）年間，競爭者出現了。這些競爭者不是來自國內，而是來自印度、錫蘭和日本。這些地區大面積引種茶葉成功。為提高競爭力，印度、日本對茶葉免稅，錫蘭不僅免稅，而且還有補貼，以推廣種茶量，從而對中國茶葉在國際市場上的地位發出了挑戰。
更為不利的是，中國茶葉質量下降，讓中國茶葉的銷售價格大幅降低，最高降幅達50%以上。在19世紀七八十年代，江西婺源、浙江天台、紹興平水、安徽徽州等地成為上海出口綠茶的主要貨源地，所佔比例分別為35%、25%、15%、15%。這些茶葉2/3運往美國，原本途經錢塘江、大運河直達上海，但茶葉經過杭州時要增收“海塘捐”或“提防稅”，茶商為了避開杭州的關卡，便繞道九江或寧波等地運到上海，從而使運費和出口成本增加。
1874年寧波岸出口茶葉上升到9556噸，也就是這一年，寧波綠茶因茶葉色澤問題，受到英國檢驗部門的非議，寧波口岸的綠茶出口增長勢頭開始減退。
到光緒（1875～1908）中葉以後，中國的茶葉出口額跌到了空前的最低點。對此，前來中國考察的英國海軍少將、下議院議員貝思福在其《保華全書》中直言不諱地說，中國對出口茶加重稅率，無異於自棄其土產，自絕其利源。而且外國炒茶用機器，讓手工操作的中國茶了無效率的缺點一覽無遺。 1896年，兩江總督劉坤一意欲借鑒外國機械製茶經驗，明確下令以機器製造外銷茶，但徽州茶商害怕費多效微，增加資本投入，望而卻步，甚至激烈反對，此事最後只得作罷。故缺乏適應工業化進程的開拓意識，也是徽商倒退很重要的原因之一。
就這樣，在生產方式無可比較、洋茶傾銷、稅收有所區別等情況下，歐陽昱在其《見聞瑣錄·後集》中寫道：“二十年來，以業茶起家者，十僅一二；以業茶破家者，十有八九。”
與鹽、茶一樣，徽商木業和典當業的經營重點也基本集中在長江中下游地區。 19世紀50～60年代的戰亂，打亂了徽州木商、典當商再次復甦的可能。 19世紀80年代，茶商由盛而衰，作為徽商標誌性人物的胡雪巖在絲織領域的完敗，標誌著徽商開始走下坡路，但晚清安徽高官子弟孫多森和周學熙的表現，則讓我們依稀看到了徽州這片土地上曾經受世族影響的痕跡。