《合同法》第32条规定：“当事人采用合同书形式订立合同的，自双方当事人签字或盖章时合同成立”。第44条规定：“依法成立的合同，自成立时生效”。鉴于双方并没有约定不交保证金合同无效，因此，你签订的合同已成立并生效。如果你不履行合同义务，则可能构成违约行为，将承担相应的责任。对方要求你继续履行合同并承担违约责任是符合法律规定并具有合同依据的。除非你能够证明合同违反了《合同法》第52条或54条的规定，合同方可被宣告无效或被依法撤销。具体情况可电话咨询。