Można to rozwiązać na wiele sposobów.
Najlepiej całość napisać obiektowo wtedy wszystko byłoby prostsze, ale tutaj jest rozwiązanie tej sytuacji:
Cały switch zamykasz w pętlę nieskończoną np while(true) lub for(;;)
Po case 1: w pętli while wpisujesz warunek (liczba!=2)
Tam gdzie jest cały problem czyli if(liczba==2){} usuwasz
Oczywiście na samym końcu case wpisujesz break;
Dodałem jeszcze załącznik
Mam nadzieje że wszystko jasne