根据《中国共产党支部工作条例（试行）》和党内有关规定，您的问题的答案是：通常情况下，是的。

具体来说，需要从以下几个方面来理解：

核心规定

《中国共产党支部工作条例（试行）》第四条明确规定：

党支部党员人数一般不超过50人。

这条规定是基本原则。当党员人数超过一定规模时，为了便于管理和开展活动，就需要调整组织设置。

具体划分标准

党支部：党员人数一般不超过50人。

党总支：党员人数超过50人、不足100人的，可以成立党总支。

党委：党员人数超过100人的，可以成立党委。

对您问题的具体分析

您提到“单位党员人数达到20人以上”，这个数字需要更精确地分析：

如果党员人数在20人以上，但不足50人：

根据规定，仍然可以保留党支部的设置。

但是，为了更有效地开展党的工作，加强对党员的教育管理，如果认为有必要，经上级党组织批准，也可以设立党总支。这体现了原则性与灵活性的结合。例如，如果单位内设机构较多、党员分布较散，设立党总支更有利于开展工作。

如果党员人数达到或超过50人：

这就必须考虑升格组织设置。按照规定，应当成立党总支。

关键点总结

“20人以上”不是设立党总支的硬性门槛：硬性门槛是50人。

设立党总支的充分条件是“50人以上”：党员人数超过50人，是设立党总支的明确条件和普遍要求。

设立党总支的必要条件是“上级党组织批准”：无论是因为人数超过50人，还是因为工作需要但在50人以下，最终都必须报请上级党组织审查批准。不能自行决定设立或升格。

灵活性：在党员人数不足50人但接近50人，且工作确实需要的情况下（如下属部门多、驻地分散等），经上级党组织批准，可以提前设立党总支。

结论

如果您的单位党员人数已经达到或超过50人，那么按照规定，必须设立党总支部。

如果您的单位党员人数在20人以上但不足50人，目前可以继续保持党支部建制。但如果出于工作考虑，认为设立党总支更有利，可以向上级党组织提出申请，经批准后设立。

建议您单位根据实际的党员人数和工作需要，与上级党组织进行沟通，按照程序办理相关事宜。