總稅務司衙門是大清國統轄全國海關、稅務的辦事衙門。
咸豐三年（公元1853年），英、美、法三國乘小刀會起義之機，將上海海關的行政權奪取在手。次年，三國領事與當時的蘇松太道吳健彰訂立協定，由三國領事各派稅務司一人，組成海關稅務管理委員會。
咸豐九年（公元1859年），英國迫使南洋通商大臣任英國人李泰國為總稅務司。咸豐十一年（公元1861年），總理衙門正式加委李泰國為中國總稅務司，使英人擔任大清國總稅務司一事合法化。
李泰國曾在英駐上海領事館供職，咸豐五年（公元1855年）出任上海江海關稅務司。咸豐八年（公元1858年），英、法聯軍北犯天津、大沽，他任英國侵華軍全權代表額爾金的翻譯和謀士。
中英《天津條約》談判過程中，李泰國更是言語狂悖，表現得狡驕異常，深為中國人痛恨。他被總理衙門正式加委總稅務司後，把上海半殖民地化的海關製度逐步推廣到廣州、汕頭等通商口岸。大清國海關管理權從此為外國人所攫取。
任職期間，李泰國積極為大清國購置軍火及兵船，組成艦隊，用於鎮壓太平軍，他本人也撈取了無數的好處。李泰國因功被英國授予三等巴斯勳位，成了紳士一族。
同治三年（公元1864年），李泰國受總理衙門和江蘇巡撫衙門委託，回國購買兵船組建艦隊。艦隊組成後，李泰國竟然背著江蘇巡撫衙門和大清國的總理衙門，儼然以大清國“唯一的海軍大臣”自居，擅自與英國大佐阿思本簽訂協議，授給指揮該艦隊的全權，陰謀控制大清國的海軍。是年九月，阿思本率艦隊抵達中國，遭到總理衙門拒絕，並將艦隊解散。總理衙門旋向英國駐華公使阿禮國提出抗議，要求革除李泰國總稅務司一職。李泰國被革職的同時，英國人馬上提出由赫德接任。總理衙門怕赫德上任後，重蹈李泰國的覆轍，於是著李鴻章嚴加訪察。
其實，李鴻章早就對中國的海關稅務管理權由外國人把持這一點頗有微詞，但他卻又無法改變現狀，只能是總理衙門怎麼說，他便怎麼做，不能有半點變動。
赫德已經走馬上任，只是還沒有得到大清國總理衙門的認可罷了。
李鴻章帶上通事及丁日昌一班隨員趕到總稅務司衙門時，赫德正坐在自己的辦事房裡罵人。
赫德在北京時，曾得到過一隻鼻煙壺，裡面繪有春宮畫，是一男一女正行雲雨之事。赫德得到之後愛若珍寶，無論走到何處都揣在懷裡，不時放在掌心裡把玩，興奮得不行。
李鴻章來的這日早上，赫德因為有一件事情急著要去辦，便把鼻煙壺給落在辦事房裡，等他想起回來取時，卻早不見了踪影。他先是懷疑為他收拾屋子的雜役拿了去，被一口否認後，他便開始懷疑所有的中國司員，說中國人是劣等人種，中國人全是賊。
因為這個鼻煙壺，赫德一個早晨口裡冒出的盡是難聽的話。正罵得起勁，不妨一名英國司員大踏步闖進來道：“禀告大人，江蘇巡撫李鴻章來見。”司員話畢，把李鴻章的拜帖遞給赫德。
赫德看後道：“這李鴻章可是個大賊，但是怠慢不得！快把他請進大廳裡讓他喝咖啡。”
司員下去後，赫德就忙著換禮服，打領帶，然後才叫了一名通事跟著，到大廳來會李鴻章。
依禮寒暄後，李鴻章緩緩道：“本部院此來，是奉旨了解一下稅務司的情況，此外想和赫大人拉拉家常。”
通事把話翻譯過去，赫德很認真地聽，然後說道：“禀明李大人，總稅務司的事情，鄙人已向總理衙門通禀過了。”
李鴻章一聽這話，才想起巡撫衙門和通商衙門是無權過問總稅務司情況的，於是改口道：“當然當然，本部院不過是想問一下前任李泰國的事情。”
“李泰國已被革職了，他做了一些傷害大清國的事情，已被召回國內，說不定還要把他送上軍事法庭。”
李鴻章不知道赫德所說的軍事法庭是個什麼東西，只能隨口嗯嗯了兩聲，表明知道了或聽懂了。
赫德又說：“禀明撫台李大人，鄙人接任總稅務司以來，一切都在按約辦事，不敢有半點的馬虎和大意。鄙人保證鄙人擔任總稅務司，會為貴國的總理衙門和撫台李大人做許多的事情，絕不會有錯的。”
李鴻章回道：“您說的這些，本部院都相信，總理衙門也相信。”
赫德接著說道：“禀明撫台李大人，鄙人在寧波的時候，就已經知道，您是個很有紳士風度的大人物，所以鄙人決定，邀請您及您的隨行人員，共進午餐。”
李鴻章笑著回絕了赫德的邀請，決定再到英國領事館去走一趟，進一步了解一下赫德的私人情況。
赫德不容通事把話譯完，起身便徑直走到李鴻章的面前，抓過李鴻章的手大聲道：“您李大人不給鄙人面子，鄙人就不放您走。鄙人已經安排人準備好了上等的愛爾蘭酒，還從外面的菜館裡叫了幾個您最愛吃的菜。”赫德的做法很出李鴻章的意外，他小聲對身後站著的丁日昌說道：“想不到赫德還是個爽快人！看樣子，我們還真得擾他一頓了。”
丁日昌聽完李鴻章的話，趕忙滿面春風地跨前一步對赫德說道：“赫大人放手吧，我家撫台大人，決定留下來吃這頓大菜了。”
赫德高興地引著李鴻章一行人向後面的飯廳走去。
入席伊始，赫德表現得還頗讓人滿意。他不僅向李鴻章敬酒，還向丁日昌等人敬酒，還一口一個李大人、丁大人地叫。幾杯酒下肚以後，赫德卻完全變成了另外一個面目。他挽起袖子，露出長滿黑毛的長胳膊，活脫脫一個上海街頭無家可歸的小癟三，早不見了紳士風度。他撇開通事，一個人用生硬的華語講起英國的風土人情，自然風光，直講得唾沫橫飛，舉座皆驚。他說大英帝國是世界上最文明的國家，那裡培養了許多優秀的人物，他甚至信口講出了幾個非常拗口的人名。
李鴻章小聲對丁日昌說道：“這個洋鬼子，他是想家了。”
丁日昌忙道：“大人說的是，一個人出門在外，換誰都會想家。”
飯後，在去英國領事館的路上，李鴻章對一班隨員發感慨道：“這些洋人，酒前裝得跟個人似的，一旦沾了酒，就變成了豬狗！甚或豬狗不如！”
丁日昌道：“撫台大人，像赫德這種人，喝起酒來滿口說胡話，還敢當著您老的面挽起袖子，這樣的人做總稅務司合適嗎？”
李鴻章笑道：“我說雨生啊，你以為本部院，真能做總理衙門的主嗎？其實，本部院來見赫德前，心裡明鏡似的。赫德怎麼樣並不重要，只要他是英國人就行了！總理衙門專委本部院訪察赫德，一是做給外國人看，一是為堵一些大臣的嘴。總理衙門把海關利權交給外國人，這本身就是個弱招。本部院奉命行事，其實只是做做樣子罷了。外國人不當真，本部院也不當真。”
李鴻章一行人很快和英國駐上海領事館領事巴夏禮坐在一起談話。
談起赫德，巴夏禮連連盛讚其能，還拍著胸脯說道：“赫德一貫忠於職守，把總稅務司交給他，真是再合適不過！請李大人儘早上奏總理衙門，盡快對赫德加委吧。”
巴夏禮話畢，又從桌上拿起赫德的履歷，遞給李鴻章說道：“赫德的情況，都一一寫在上面，貴國的總理衙門已經備案。”
李鴻章嘆了一口氣，更加清楚了總理衙門掩耳盜鈴、自欺欺人的做法。回到通商衙門的當日，他把自己掌握的赫德的情況上奏給總理衙門。總理衙門收到奏摺不久，便正式加委赫德為總稅務司。
赫德這個英國人，到底是個什麼來歷呢？
赫德時年三十歲，按巴夏禮的介紹，生於英國愛爾蘭亞爾馬郡波達當的一戶軍人家裡，在當地讀公學時就極其優秀，得到過許多美女的青睞，均被他拒絕。因為赫德那年才九歲。後考入軍校，又被女生追捧，弄得他躲無可躲、藏無可藏，只好輟學。後來才知道，是他發騷，到處追女孩子，惹惱了女孩的家長，大家聯手揍了他一頓，把他打退學了。
所幸他的父親與軍校的女校長是相好，好說歹說，勉強讓他畢了業。哪知畢業證到手未及十天，他便被當地警局關進了監獄，罪名是強搶他人財物，在大街上襲擊女人的屁股，一共十幾項。他的母親得知消息後氣得不行，他的父親也跟瘋了一般，揚言要幹掉他。
正在這時，恰逢英國政府大量招兵，而且不分良莠，尤其青睞在監獄服刑的人，聲稱這樣的人到了別的國家才好施展身手。赫德馬上報名，未出監獄便被軍隊任命為尉官。
就是這樣的一個渣滓，出獄以後竟然開始發跡了，而且發得冒煙咕咚。赫德於咸豐四年（公元1854年）被派遣到香港，在英國商務監督公署任職，次年調任英國駐寧波副領事助理。
咸豐八年（公元1858年），赫德離開寧波赴廣州擔任英國駐廣州領事館助理，並任英法聯軍佔領廣州“外人委員會”的秘書，旋任粵海關副稅務司，四年光景便成了紳士一族。
赫德在中國多年，為方便外交，給自己取了個鷺賓的字號，且常年練習華語，以圖在華撈取更大的利益。