Bardzo dziwna historia tym bardziej, że zbiór 1-1,5mm to bardzo mało. Sam używam frezów Luna (frezarka pod stolikiem) i nigdy nie miałem podobnej sytuacji. Mogłoby się tak faktycznie zdarzyć, że wyrwało Ci z ręki ale to tylko z jednej strony. Ale piszesz, że próbowałeś z dwóch stron. Popatrz na youtuby może robisz coś źle i tego nie mówisz.
I jeszcze jedno frez z łożyskiem potrzebuje powierzchni referencyjnej czyli łożysko toczy się po wzorcu a frez odwzorowuje kształt we frezowanym materiale.
Frezy z łożyskiem zazwyczaj mają małą średnicę więc powinieneś mieć obroty relatywnie wysokie (trudno mi powiedzieć czy maksymalne bo nie podajesz ani fi fresu ani rodzaju materiału).