Jak se bránit proti vydržení pozemku?

Stala jsem se nedávno spolumajitekou množství menších pozemků. Jeden z nich se nachází na okraji mého rodného městečka, tatínek se kdysi dohodl s majitelem sousední parcely, ten si jej připlotil k zahradě a užíval ho, taťkovi dával ročně stovku. Pozemek má 110m2 a nepraktický tvar. Teď ale platit přestal, tátovi řekl, že o další užívání nemá zájem, ale stále je parcela připlocená. Jak bránit svoje vlastnická práva?
Takto dopadl i bratr, který vlastní za městem neoplocený pozemek vedený jako zahrada a táta akorát ví, že ho užívá "někdo z Lhoty". Neplatí nic.
Takže platíme daně.
Jak se vůbec v takové situaci bránit proti vydržení?