该不该离婚，犹豫不决

我30岁，闪婚裸婚已婚5年，女儿4岁半，婚后老公贪玩爱自由没责任感家庭没规划，妈宝男，抠门，争吵暴力不断，心已死，渐渐对老公性冷淡，好多次想离婚，舍不得女儿。2016年我去外地上班，出轨同事，很喜欢他，他单身，他说把我当过客，说跟我在一起有负罪感，我说我要离婚，跟他光明正大在一起，他说让我不要互相伤害。我现在很烦，对同事不死心，对女儿不舍得，对老公性冷淡已死心，可老公在我离家的这一年也在慢慢变好，怎么办，这婚姻还要不要