Zbiór walidacyjny (validation set) to zbiór danych składający się z przykładów, używany do dostrajania hiperparametrów (tj. architektury) modelu. Nazywany jest czasem również zbiorem deweloperskim lub "zbiorem dev". Przykładem hiperparametru dla sztucznych sieci neuronowych jest liczba ukrytych jednostek w każdej warstwie. Zbiór walidacyjny powinien mieć taki sam rozkład prawdopodobieństwa jak zbiór danych treningowych. Aby uniknąć przeuczenia, gdy jakikolwiek parametr klasyfikacji wymaga dostrojenia, konieczne jest posiadanie zbioru walidacyjnego oprócz zbioru treningowego i zbioru testowego.
Zbiór walidacyjny funkcjonuje jako hybryda: jest danymi treningowymi wykorzystywanymi do testowania, ale nie jako część treningu niskiego poziomu ani jako część testowania końcowego. Podstawowy proces wykorzystania zbioru walidacyjnego do wyboru modelu (jako część zbioru danych treningowych, zbioru walidacyjnego i zbioru danych testowych) jest następujący:
Różne sieci są trenowane poprzez minimalizację odpowiedniej funkcji błędu zdefiniowanej w odniesieniu do zbioru danych treningowych.
Wydajność sieci jest następnie porównywana poprzez obliczenie funkcji błędu przy użyciu niezależnego zbioru walidacyjnego.
Wybierana jest sieć o najmniejszym błędzie w odniesieniu do zbioru walidacyjnego.
Podejście to nazywane jest metodą wydzielania. Ponieważ ta procedura sama w sobie może prowadzić do pewnego przeuczenia na zbiorze walidacyjnym, wydajność wybranej sieci powinna zostać potwierdzona poprzez pomiar jej wydajności na trzecim, niezależnym zbiorze danych zwanym zbiorem testowym.