不过，也存在特殊情况。如果父亲给儿子钱时，双方有明确约定这笔钱有特殊用途，如只是暂存，待父亲去世后仍需作为遗产处理，那么这种情况下，这笔钱可能会被认定为遗产。或者，如果父亲给儿子钱的行为存在欺诈、胁迫等可撤销情形，并且经过法定程序撤销了赠与，那么该钱款会回归父亲的财产，在他去世时就可以作为遗产进行分配。
因此，具体是否算遗产，需要综合考虑赠与的性质、双方的约定以及是否存在可撤销情形等多方面因素。如果有争议，可以通过法律途径，由法院依据具体事实和证据进行判定。如果你在这方面有具体的法律问题或疑虑，可以直接向我咨询，我会根据你的具体情况给出更详细的法律建议。