Pilze im Kräuterpflanzer

Ich bin neu im Garten und kaufte kürzlich einen Kräuterpflanzer. Ich habe meine Samen gepflanzt, aber auch einige Pilze wachsen. Mache ich etwas falsch? Soll ich sie herausziehen oder so gehen wie es ist?