面对这样的情况，确实会让人感到十分困扰和焦虑。首先，重要的是保持冷静，不要立即做出冲动的决定或说出可能加剧矛盾的话。接下来可以尝试以下几个步骤来处理这个问题：

1. 沟通是关键：找一个合适的时机，以平和的心态与你的丈夫进行深入交谈。表达你的感受，同时也倾听他的想法。确保他明白你对这段关系的看法，并且你希望得到他的理解和尊重。

2. 明确界限：清楚地向你的丈夫说明哪些行为是可以接受的，哪些是不可以接受的。强调家庭和谐的重要性，以及这种暧昧关系可能带来的负面影响。

3. 寻求专业帮助：如果你们自己难以解决这个问题，不妨考虑寻求婚姻咨询师的帮助。专业人士可以提供更客观的视角和有效的解决方案。

4. 增强夫妻间的情感联系：花时间加强彼此之间的了解和感情，比如定期安排约会夜，共同参与兴趣爱好等，这有助于重建信任和亲密感。

5. 关注自我成长：利用这段时间专注于个人成长和发展，无论是学习新技能还是培养新的兴趣爱好，都能让你更加自信和独立。

通过上述方法，希望能够有效改善当前的情况，维护家庭的和谐稳定。