亲兄弟互换宅基地后一方反悔这种情况下乙应该怎么做呢

问题描述：甲乙为亲兄弟，甲长期在外地工作，乙在家务农。7年前双方口头协议更换了宅基地(没有书面协议，但亲戚均可证明)。经过村委审批和甲的同意，乙在新宅基地上建了楼房。后来甲乙产生了矛盾，甲便以反悔更换宅基地为由，要求乙拆除这栋楼房，并扬言若乙不拆除就自己动手拆，请问甲是否有权利这样做?这栋楼房是否属于乙的合法财产? 甲擅自更换了这栋楼房的门锁，并跟乙说若不拆房就把家具全部砸完，这种情况下乙应该怎么做呢？