探视权是法律赋予未直接抚养子女一方的权利，如果一方违反约定，只让探视却不让接走孩子，这可能侵犯了另一方的探视权。在这种情况下，另一方可以先尝试与对方协商，要求按照约定保障完整的探视权。如果协商不成，可以向人民法院起诉。
在起诉时，你需要准备相关证据，如之前关于探视权的约定协议、对方违反约定的事实等。法院会根据具体情况进行审理，判断是否存在探视权被侵犯的情况。如果法院认定对方侵权，会依法判决，保障探视权人的合法权益，让其能依照法律规定和约定正常行使探视权，包括合理接走孩子进行探视等。
总之，探视权是法律赋予的重要权利，任何侵犯该权利的行为都将受到法律的规制。如果遇到探视权不让接走的情况，可以先尝试协商，协商不成时及时向法院起诉，以维护自己的合法权益。