Soit $S\subset \mathbb{Z}^n \cap [0,N]^n$ (un ensemble de points entiers dans un intervalle ou une boîte). Supposons que, pour beaucoup de nombres premiers $p$, la distribution de $S$ dans les classes de congruence modulo $p$ est loin d'être uniforme. Est-ce que $S$ est alors forcément petit ? Une dichotomie claire apparaît: soit $S$ est très petit, soit $S$ a beaucoup de structure algébrique. On montre que, si $S\subset \mathbb{Z}^2 \cap [ 0, N]^2$ occupe un petit nombre de classes de congruence modulo $p$ pour beaucoup de nombres premiers $p$, alors soit $S$ contient moins de $N^{\epsilon}$ éléments, soit la plupart des éléments de $S$ appartiennent à une courbe algébrique de degré $O_{\epsilon}(1)$. On conjecture des choses similaires pour $S\subset \mathbb{Z}^n$, $n\neq 2$. Dans la preuve, on combine des idées du ``crible majeur'' de Gallaguer et du travail de Bombieri et Pila. Toutes les techniques utilisées sont élémentaires. Il s'agit d'un travail en collaboration avec A. Venkatesh.