Земельный участок в совместной собственности

Добрый день. Муж с его братом приватизировали земельный участок 5 соток на правах совместной собственности без выделения долей. Брат 2 года назад умер. У него остались жена и дети. Никто из них не претендует на этот участок, но возможно через время окажется, что он им понадобится. В кадастровой карте сведения о нем высвечиваются с данными мужа и его умершего брата. Вопрос: Совместная собственность земли, при наличии большого количества наследников во стороны умершего брата предполагает разрешение пользоваться всей территорией участка? Если нам через два года нужно будет дом построить на этом участке, а жена и дети брата по прежнему не переоформят на себя в наследство эту совместную собственность, как нам себя защитить?