### 法律依据
1. 《中华人民共和国治安管理处罚法》第四十二条：明确规定，多次发送淫秽、侮辱、恐吓或者其他信息，干扰他人正常生活的，处五日以下拘留或者五百元以下罚款；情节较重的，处五日以上十日以下拘留，可以并处五百元以下罚款。
2. 《中华人民共和国刑法》第二百九十三条（寻衅滋事罪）：规定，追逐、拦截、辱骂、恐吓他人，情节恶劣的，处五年以下有期徒刑、拘役或者管制。
### 具体分析
- 骚扰行为的认定：追债人通过电话、短信、上门等方式频繁联系债务人的家人，并使用侮辱性语言或威胁手段，这种行为若干扰了家人正常生活，即构成骚扰。即使未直接使用暴力，但持续、反复的骚扰行为也可能触犯法律。
- 违法后果：根据《治安管理处罚法》，骚扰行为可能面临拘留、罚款等行政处罚。若情节严重，如导致债务人或其家人精神失常、自残、自杀等严重后果，还可能构成犯罪，需承担刑事责任。
### 应对措施
1. 保留证据：债务人及其家人应保留骚扰电话的录音、短信记录、视频等证据，以便后续维权。
2. 及时报警：一旦发现骚扰行为，应立即向公安机关报案，由公安机关依法处理。
3. 寻求法律援助：如骚扰行为导致严重后果，可咨询律师，通过法律途径维护自身权益。
4. 合法追债：债权人应通过合法途径追讨债务，如协商、调解、仲裁或诉讼等，避免采取非法手段。
总之，追债人骚扰家人是违法的，受害者有权依法维护自己的合法权益。如有需要，你可以直接向我咨询相关的法律问题。