律师您好，我于3月底在鼓楼区买了一套二手房，合同约定交房时间为5月30日，看看http://www.5law.cn/b/a/falvzhuanti/fangwuzulinxieyishu/2012/0820/10263.html。推迟一天是房款的万分之五，推迟15天以上是总房款的20%。
但是房东前两天通知我们他们买的房子要6月底才能拿房，收拾一下要7月中旬才能交房，因为我们现在是租房子住，房子5月底也要到期了，我们与房东协商，他坚持不按合同执行。
另合同约定预付款的时间是4月10日打到房产局资金托管中心，由于4月1日南京开始网签的，中介送件一周后房产局通知网签系统未调试好，要求重新送件，为了5月1日前能把户口落下来我还花了一千元办的加急，最后预付款是4月16日打给资金托管中心的，房东认为我们违约在先，可是我们觉得这不是我们的主观原因造成的，应该不属于我们的责任。
我们想走法律程序，但是一方面中介说就是走法律程序，合同条款也不会得到执行；另一方面房东恐吓我们如果走法律程序，他将找几个社会流氓来骚扰我们的生活。
律师您认为我们应该怎么办？