林市蔵は、慶応3年（1867）年、熊本藩士の子として生まれた。父は市蔵が5歳のときに38歳でこの世を去り、母は、寝たきりの姑と病弱な子どもであった市蔵の養育に生涯をささげることになる。 時は明治の初めであり、母の苦労がしのばれる。
　市蔵は極貧の中で小学校・中学校を卒業し、第五高等学校を経て、東京帝国大学法学部を卒業、拓殖務省につとめた。まもなく母が世を去っている。30年間のはりつめた生活の無理と、市蔵の就職による安心感があったように感じられ、市蔵は生涯この母親に対して何もできなかったことを悔いたという。
　 拓殖務省の内務省への合併後は内務省に勤務した後、警察監獄学校教授をつとめ、この間、明治33年（1900）年に静岡県沼津市の素封家である市崎氏の娘しげと結婚するとともに、小河滋次郎博士、牧野虎次氏、山室軍平氏、留岡幸助氏と知り合っている。
　明治37年（1904）年には、山口県第一部長（内務部長）となり、その後、広島県第一部長、新潟県内務部長を経て、明治41（1908）年には三重県知事となり、さらにこの年、東洋拓殖株式会社理事として京城に赴任、8年間勤務した後、大正6（1917）年1月、山口県知事となり、12月に大阪府知事に就任した。 　

　林市蔵の大阪府知事在任はわずか2年5ヶ月であるが、彼の官僚生活の最後でもあり、方面委員制度の創設をはじめ、よく人材を登用して府政を充実した。退官後は大阪を永住の地と定め、信託銀行総裁、米穀取引所理事長、中山製鋼所重役などを歴任、財界の世話役を果たし、戦後昭和27（1952）年に86歳で永眠した。
　この間、戦時体制の中で隣組が制度化されるにあたり、「方面委員廃止論」が中央官庁にあらわれはじめると、市蔵は内務省や厚生省を歴訪して、大臣や局長に会い、忌憚のない意見を述べて、方面事業の真価について啓発し、結果、方面委員制度は存続することになった。戦後、方面事業に否定的なＧＨＱ大阪民生部担当のボッツ博士から会談を申し込まれ、市蔵は英文で18項目にわたって解説を書いて渡し、会談では方面委員制度の意義を強調した。
　敗戦直後、アメリカ戦艦ミズーリ号上で降伏文書に調印し、戦後は外相につとめた重光葵は、市蔵の長女の夫である。重光は市蔵について、尊敬といたわりをこめて、「隣人愛、社会愛に燃えた偉大なる殉教者的な聖者」と評している。
　昭和26（1951）年の暮れ、ある区で老人と孫の心中があり、林市蔵は、この件について民生委員の援助がどうであったかを聞きに出かけていたという。86歳でなくなる1ヶ月前のことであった。