横浜ベイスターズ、アメリカの野球民に流刑地扱いされる