Fix flaky controller tests #9377

Job	Run time
e2e-tests (1.23, e2e)	14m 21s
e2e-tests (1.23, e2e-automatic-rbac)	10m 14s
e2e-tests (1.23, e2e-autoscale)	6m 52s
e2e-tests (1.23, e2e-instrumentation)	7m 21s
e2e-tests (1.23, e2e-opampbridge)	4m 57s
e2e-tests (1.23, e2e-pdb)	4m 31s
e2e-tests (1.23, e2e-prometheuscr)	7m 25s
e2e-tests (1.23, e2e-targetallocator)	6m 5s
e2e-tests (1.23, e2e-targetallocator-cr)	8m 17s
e2e-tests (1.23, e2e-upgrade)	7m 52s
e2e-tests (1.23, e2e-multi-instrumentation)	6m 14s
e2e-tests (1.23, e2e-metadata-filters)	4m 44s
e2e-tests (1.23, e2e-ta-collector-mtls)	7m 15s
e2e-tests (1.31, e2e)	7m 3s
e2e-tests (1.31, e2e-automatic-rbac)	5m 5s
e2e-tests (1.31, e2e-autoscale)	4m 29s
e2e-tests (1.31, e2e-instrumentation)	7m 22s
e2e-tests (1.31, e2e-opampbridge)	5m 10s
e2e-tests (1.31, e2e-pdb)	4m 46s
e2e-tests (1.31, e2e-prometheuscr)	5m 38s
e2e-tests (1.31, e2e-targetallocator)	5m 59s
e2e-tests (1.31, e2e-targetallocator-cr)	4m 44s
e2e-tests (1.31, e2e-upgrade)	8m 29s
e2e-tests (1.31, e2e-multi-instrumentation)	5m 53s
e2e-tests (1.31, e2e-metadata-filters)	4m 50s
e2e-tests (1.31, e2e-ta-collector-mtls)	6m 58s
e2e-tests (e2e-native-sidecar, 1.29, add-operator-arg OPERATOR_ARG='--feature-gates=operator.side...	5m 14s
e2e-tests-check	1s
	2h 57m 49s

Provide feedback