海林市歷史悠久，自舊石器晚期起，就有人類生息繁衍，商周時期就是中原版圖國，向中原納貢。有資料和文獻記載，商周時，曾向中原進貢石弩、貂皮、海東青等名貴物品。漢晉以來，雖多以土著民族自治，但多受中原冊封，漢時設郡，唐宋襲承漢制，明代設衛和司，明朝中葉以后設都督，皆是中原王朝封爵。清代滿族入主中原，這里便設昂邦章京，寧古塔將軍等衙門，成為東北長白山以北，黑龍江流域及庫頁島一帶大片疆域的軍政中心。
海林市原名海林縣，系由新海、五林二縣合并時，各取原縣名稱的后一個字而得名。清代，屬寧古塔副都統轄區。清末民初，先后隸屬寧安府和寧安縣管轄。1945年“九三”抗日戰爭勝利后，1946年8月15日，將寧安縣北部新安鎮、海林、橫道河子、山市等地區劃出，設置新?？h，縣政府駐海林。初隸綏寧省，后改隸牡丹江專區、牡丹江省，再改隸松江省。1948年10月4日，松江省政府決定，將五林縣與新?？h合并為海林縣，縣政府駐牡丹江市內，由松江省直轄。1954年8月，松、黑兩省合并后，由黑龍江省直轄。
1956年3月6日，國務院決定，撤銷海林縣，將原海林縣所屬區域分別劃歸寧安縣、林口縣和牡丹江市。1962年10月20日，國務院決定，恢復海林縣，將原海林縣劃給寧安縣的海林、橫道河子、長汀、海南、石河、新安、舊街7個鄉鎮和原海林縣劃給林口縣的柴河、二道河子、三道河子3個鄉鎮劃為海林縣的行政區域?？h人民委員會駐海林鎮，隸屬牡丹江專區管轄。1983年9月3日，牡丹江地區撤銷后，劃歸牡丹江市領導。1992年7月28日，國務院批準，撤銷海林縣，設立海林市（縣級）。由牡丹江市代管。
1992年末，海林市位于黑龍江省東南部，張廣才嶺主脈東側。是黑龍江省主要林業基地之一。市境西以張廣才嶺主脈與五?？h、尚志市分界，北與方正縣、林口縣毗連，東與林口縣、牡丹江市接壤，南與寧安縣為鄰，西南與吉林省敦化市以分水嶺為界。全市總面積9570平方千米?？側丝?4.6萬人，其中非農業人口23.6萬人，占總人口的52.9%；滿、朝鮮、回族等少數民族人口3.9萬人，占總人口的12.2%。轄7鎮、5鄉。市政府駐地海林鎮。（以上摘自《黑龍江省志?地名錄》，有改動）
1996年，海林市面積9877.8平方千米，人口約43.5萬人。轄7鎮、5鄉：海林鎮、長汀鎮、柴河鎮、橫道河子鎮、山市鎮、二道河子鎮、新安朝鮮族鎮、舊街鄉、石河鄉、新合鄉、三道河子鄉、海南朝鮮族鄉。市政府駐海林鎮。
2000年第五次人口普查，海林市總人口435677人，其中：海林鎮103511人，長汀鎮16118人，橫道河子鎮18980人，山市鎮19932人，柴河鎮26281人，二道河鎮14285人，新安朝鮮族鎮18909人，三道河子鎮10666人，舊街鄉16424人，石河鄉12954人，新合鄉27767人，海南朝鮮族鄉18792人，海林農場7742人，山市種奶牛場6868人，大海林林業局43479人，海林林業局17873人，柴河林業局55096人。
2001年鄉鎮區域化調整，舊街鄉合并到長汀鎮。
2005年，海林市轄8個鎮、1個鄉：海林鎮、長汀鎮、橫道鎮、山市鎮、柴河鎮、二道鎮、新安朝鮮族鎮、三道鎮、海南朝鮮族鄉。境內還有大海林林業局、海林林業局、柴河林業局等。
2009年，《黑龍江省民政廳關于調整牡丹江市部分行政區劃的批復》（黑民區[2009]121號）：同意將海林市所轄的海南朝鮮族鄉整建制劃歸牡丹江市西安區管轄（2010年5月19日正式實施）。
