首先，赌场借高利贷以及高利贷追债到家里的行为都是不合法的。接下来，我会详细解释如何应对这种情况，并提供一些建议。

1. 明确法律立场：在我国，高利贷和赌场借贷都是不受法律保护的。因此，如果高利贷追债者到家里不走，你可以明确告诉他们，这种行为是违法的，并且你不会承认或偿还任何非法债务。

2. 保持冷静，避免冲突：面对追债者，保持冷静是非常重要的。不要与他们发生争执或冲突，以免事态升级。你可以尝试与他们沟通，表明你的立场和态度，但切记不要承诺偿还非法债务。

3. 收集证据，报警处理：如果追债者的行为过于嚣张或威胁到你的安全，你应该立即报警。在报警之前，尽量收集一些证据，如追债者的身份信息、车辆信息、威胁言论等，以便警方能够更好地处理此事。

4. 寻求法律帮助：如果你感到无法处理这种情况，或者担心自己的安全受到威胁，可以寻求专业的法律帮助。作为律师，我可以为你提供法律咨询和指导，帮助你应对这种不法侵害。

5. 预防未来风险：此次事件之后，你应该深刻反思并警惕类似的风险。避免再次参与赌场借贷或高利贷活动，以免陷入更深的法律困境。

总之，面对高利贷追债者到家里不走的情况，你应该明确法律立场，保持冷静，收集证据并报警处理。同时，也可以寻求专业的法律帮助来维护自己的合法权益。