Sapucaí Mirim, primeiramente denominada Santana do Paraíso e, posteriormente, Sant' Ana do Sapucaí-Mirim, deve a sua origem à penetração dos antigos bandeirantes em busca de minérios na região de Minas Gerais.

O município está situado no vale do Rio Sapucaí-Mirim, o qual lhe empresta o nome. Seus fundadores, os bandeirantes, que partiram do município Paulista de Taubaté em 1853, chegaram a localizar um local denominado Guarda Velha. Como o local confinava com o município mineiro de Camanducaia, existia no referido local muitos posseiros vindos desses municípios confinantes, e não tardou que se originassem disputas entre os possiantes de Camanducaia e os desbravadores paulistas, questões essas, certamente motivadas pelas divisas de terrenos apossiados. Não obstante essas disputas, os bandeirantes conseguiram se fixar, dando, dessa forma, origem ao povoado que logo se denominou Sant'Ana do Paraíso, tendo como padroeira a Nossa Senhora Sant'Ana. Assim, logo foi construída a Matriz da Sant'Ana, dada a crescente povoação do lugar.

A doação do patrimônio para a formação do arraial foi feita por Ladislau Pereira de Carvalho e vários outros residentes, os quais, no local escolhido, mandaram edificar uma matriz em honra à padroeira Sant'Ana do Sapucaí-Mirim e ao rio Sapucaí-Mirim, em cujo vale está localizada a atual cidade.

O povoado passou a distrito, em 1877, pela Lei Provincial nº 2325, de 13 de outubro, pertencendo ao município de Paraisópolis.

A Lei Estadual nº 843, de 7 de setembro de 1923, alterou o nome do distrito para Sapucaí Mirim. Com esse topônimo, a Lei nº 15 de 17 de dezembro de 1937, elevou o distrito à categoria de município, desmembrando-o de Paraisópolis.