稅務救濟與行政權力失衡，是此次兩公約審查中民間團體集中抨擊的火線核心。

法稅改革聯盟志工湯詩奇指出，台灣存在嚴重的「萬年稅單」問題。即使納稅人在行政法院獲得勝訴，原稅單也不會真正撤銷，而是重新計算後再度開立，形成無止盡的救濟循環。監察院於2022年即指出此制度存在嚴重問題，但仍有大量案件至今無法解決，違反了公政公約所要求的有效救濟原則。

聯合國NGO世界公民總會台灣總會志工陳品萱則表示，台灣部分稅務機關為達績效或配額目標，往往未經充分調查便開立稅單，甚至在已有證據顯示課稅違法時，司法系統仍以程序理由拒絕再審或重啟案件，顯示行政與司法體系對國際人權公約的落實仍有重大落差。

法稅改革聯盟志工Aaron更於審查會議中直言，稅捐制度在台灣已被「武器化」，成為政府打壓人民與團體的工具。他批評行政法院長期成為官員的保護傘，人民與政府訴訟曠日廢時，許多人甚至在案件尚未平反前便已離世。這種行政救濟制度不僅失去司法正義功能，更成為對人民的折磨。