Кому принадлежит металл

Здравствуйте! 12 лет назад между моим и соседским домовладениями мной был установлен металлический забор вместо пришедшего в негодность деревянного. Он был сделан из б/у бочек и установлен на той же линии, где был старый, и которая на то время считалась границей. Ни во время замены, ни во время дальнейшей его эксплуатации никто никаких претензий друг другу не высказывал.

Мой сосед собрался за свой счет поменять забор на современный и дорогой, на что предварительно получил мое согласие. Мы договорились, что новый забор будет установлен на прежнем месте. При этом вопрос о том, кто будет демонтировать старый забор, и кто заберет материал, из которого он был сделан, не обсуждался. После демонтажа сосед забрал этот металл без моего на то согласия. На мое требование вернуть, он категорически заявил, что ничего возвращать не собирается, так как намеревается сдать его на металлолом и таким образом погасить часть своих затрат на демонтаж старого и материалы для нового забора. Кроме того, он сказал, что старый забор частично заступал на его территорию, поэтому при приватизации земли забор автоматически перешел в его собственность и он имел полное право распорядиться им на свое усмотрение. При этом он вел себя по хамски, унижая мое достоинство.

Скажите, кто из нас прав и кому принадлежит старый материал? Имею ли я право потребовать компенсацию за материальный и моральный ущерб?

Спасибо.