Lima tahun melatih klub kampung halamannya, FC Augsburg dari 1990 sampai 1995, memimpin klub tersebut dari Oberliga ke Regionalliga. Setelah itu, dia melatih beberapa klub divisi bawah lainnya seperti SpVgg Greuther Fürth, SSV Reutlingen dan Hansa Rostock sampai ditunjuk kembali menjadi pelatih Augsburg pada September 2004.
Pada 11 Februari 2006, VfB Stuttgart menunjuknya sebagai pelatih kepala, menggantikan Giovanni Trapattoni. Pada Mei tahun berikutnya, klub tersebut memenangi gelar Bundesliga pertamanya, dan satu-satunya sepanjang sejarah. Berikutnya, mereka lolos ke final Piala Jerman, tetapi dihentikan 1. FC Nuremberg, 3-2 di perpanjangan waktu.
Pada 23 Mei 2009, dia diamanahkan sebagai pelatih VfL Wolfsburg, tetapi kemudian dipecat pada 25 Januari tahun berikutnya. Setelah itu, empat bulan kemudian, pada 24 Mei, dia ditunjuk sebagai pelatih Hamburger SV.[1]
Pada 30 Mei 2011, dia menjadi pelatih Eintracht Frankfurt.[2] Setelah promosi ke Bundesliga di musim pertamanya, Veh memperbarui kontraknya dengan klub itu.[3]
