L’ermita dedicada a Sant Josep i a la Mare de Déu de la Llet, de la qual se’n conservava una imatge fins la guerra civil, era la capella del desaparegut castell, documentat des del segle XII, i que gairebé amb tota seguretat es va construir abans que la mateixa fortificació; en l’actualitat encara es conserva una casa coneguda com el castell de construcció posterior al període medieval. Inicialment pertanyia al bisbat de Vic però avui en dia parroquialment depèn de Santa Coloma de Queralt.
Malgrat tractar-se d’un edifici d’un origen certament romànic, d’aquest estil arquitectònic no trobem cap rastre. És d’una única nau de planta rectangular amb dues capelles laterals, amb un campanar de paret o d’espadanya.
Davant mateix de la capella trobem can Cornet, la casa pairal d’on procedia la família Antònia Cornet i Bertran, mare de l’arquitecte Antoni Gaudí i Cornet.
