土地使用权纠纷律师们好，我碰到的问题是这样的，我有一座老住宅，已经住了30多年了。房子是在公社化时期建的，是泥砖结构的，一共是四间，三间房间一个厅，占地面积大约70平方米。按照村大队当时的口头协议，我家建造下厅，另外一家负责建造上厅，上、下厅用来公用。可我家建好后，其他家庭组织反悔，建造上厅工程中途终止，当时的口头协议履行终止。在我家房子封顶时，其他大队成员硬要求大厅放共有的材料，我父亲逼于当时的形势接受了这要求，工钱也由大队出了。30多年后的现今，我村的一部分村民提出要用我现住的房子建祠堂，认为我家的厅是公共的，应当作祠堂的一部分纳入祠堂建设，请问他们的要求有道理吗？这个厅对应的土地使用权归谁所有？在没有经过我家的同意，他们坚决要在我房子后面建祠堂合法吗？我该如何维护自己的权益？请指点迷津，谢谢！