São José de Ubá foi uma sesmaria desbravada por bandeirantes e, na época, era conhecida como "Ranchos dos Ubás", pois abrigava os tropeiros vindos, em sua maioria, de Minas Gerais. O distrito foi criado em 3 de junho de 1892, subordinado ao município de Cambuci, ex-Monte Verde. Em 1938, passou a se chamar Juca Neto, sendo que, em 1943, prevaleceu o nome São José de Ubá. Um dos mais antigos proprietários desta terra foi o senhor Juca Neto, que doou parte de suas terras ao padroeiro da cidade, São José.

O nome São José de Ubá é originário da junção do nome do santo padroeiro com o nome da planta nativa do lugar, denominada de ubá (planta herbácea da família anonáceas usada na confecção de balaios e cestos). O desenvolvimento dessa terra, até 1960, se deu pelo cultivo de variados produtos como café, cana-de-açúcar, feijão, algodão e milho, no entanto a partir desta data foi iniciado o plantio do tomate, que se expandiu e transformou a sua economia.

A instalação do CEASA (Mercado do Produtor do Norte Fluminense) em 1978 consolidou o plantio desse produto no município, que é hoje o segundo maior produtor de tomate do estado. Em 2 de novembro de 1995, por uma votação de 99,43%, a população disse "sim" a emancipação do então distrito. Comemora-se a data de emancipação no dia 28 de dezembro de 1995, dia em que o então governador do estado do Rio de Janeiro, Marcelo Alencar, assinou a Lei 2.459, de sua criação.