L’esistenza di un castello a Cavagnolo è conosciuta del 1164. In quell'anno, Federico Barbarossa cede a Guglielmo del Monferrato castrum Cavagnol et Vesternam. Nel 1436 viene fatto riferimento ad un ricett, compresente al Castello di Cavagnolo.

Rimangono poche tracce delle antiche mura lungo il percorso che conduce al Particcione e al Bric del Leu.