没有明确的依据表明归脾丸有三种人不能吃的说法。一般情况下，孕妇、对药物成分过敏者、阴虚火旺者、脾胃虚弱不实者等人群通常不可以服用该药。
1.孕妇：归脾丸是一种中成药制剂，主要由党参、白术(炒)、当归、木香等多种药材制成，具有益气补血、健脾养心的功效，在临床上主要用于治疗心脾两虚和气血不足引起的病症，比如心悸怔忡、失眠健忘、面色萎黄等症状。如果孕妇存在上述症状，则不宜使用此药进行治疗，以免加重不适症状。
2.对药物成分过敏者：此外，对于本品所含成分过敏的人群也不宜服用，否则可能会引起皮肤瘙痒、红疹等不良反应。
3.阴虚火旺者：由于归脾丸滋补性强，若患者属于阴虚火旺体质，容易导致病情加重，因此不建议使用。
4.脾胃虚弱不实者：归脾丸药性温和，若是患者本身存在胃肠道功能较弱的情况，则不适合长期用药，以免增加肠胃负担而影响疾病恢复。
5.老年人：同时，老年患者在用药期间还需注意保持饮食清淡，忌食生冷辛辣油腻之物，并且要避免吸烟喝酒，以免影响身体恢复。
另外，感冒发热病人不宜服用归脾丸，建议患者严格遵医嘱按时按量服用药物，不可自行盲目用药，若服药三天后症状无缓解，应及时去医院就诊。
