年底遇到恶意买家，肿么办捏？

我要郁闷死了，有件衣服缺货，我给买家退款了，他还投诉我，我再打他留下的电话，电话那边你根本不知道此事，还有个备用电话总是挂断，我打给淘宝，淘宝说让赔钱，我真是不明白，怎么能这样？