我在为多家商品代销违规吗

大家好，我遇到了一个恶拍的人，他付款后我发货了，可是刚发货他就申请退款，因为他拍的商品是我代理的不同厂家的，所以发货地不是一家，如果这样，他投拆我，我会不会被处罚扣分