Ta có thể dùng phương pháp bình phương tối thiểu để biểu diễn một hình ảnh dưới dạng một tổ hợp tuyến tính của các hình ảnh ‘‘cơ bản’’, ít nhất là một cách xấp xỉ.

Một hình ảnh có thể được biểu diễn, thông qua các giá trị pixel của nó hoặc một cơ chế nào đó khác, như một véctơ (thường là dài) [latex]y \in \mathbb{R}^m[/latex]. Bây giờ giả sử ta có một thư viện gồm [latex]n[/latex] hình ảnh ‘‘cơ bản’’, cũng ở dạng pixel, được biểu diễn bởi các véctơ [latex]a_1, \ldots, a_n[/latex]. Mỗi véctơ [latex]a_j[/latex] có thể chứa biểu diễn pixel của một véctơ đơn vị trên một cơ sở nào đó, chẳng hạn như cơ sở Fourier hai chiều; tuy nhiên, ở đây ta không nhất thiết phải giả định rằng các véctơ [latex]a_j[/latex] tạo thành một cơ sở.

Ta hãy thử tìm các hệ số tốt nhất [latex]x_j, j=1, \ldots, n[/latex], cho phép xấp xỉ hình ảnh đã cho (cho bởi [latex]y \in \mathbb{R}^m[/latex]) như một tổ hợp tuyến tính của các véctơ [latex]a_j[/latex] với các hệ số [latex]x_j[/latex]. Một tổ hợp như vậy có thể được biểu diễn dưới dạng tích ma trận-véctơ [latex]Ax[/latex], trong đó [latex]A=\left[a_1, \ldots, a_n\right][/latex] là ma trận [latex]m \times n[/latex] chứa các hình ảnh cơ bản. Sự phù hợp tốt nhất có thể được tìm thấy thông qua bài toán bình phương tối thiểu

[latex]\min _x\|A x-y\|_2[/latex]

Một khi biểu diễn được tìm thấy, và nếu giá trị tối ưu của bài toán trên là nhỏ, ta có thể biểu diễn một cách an toàn hình ảnh đã cho thông qua véctơ [latex]x[/latex]. Nếu véctơ [latex]x[/latex] là thưa, theo nghĩa là nó có nhiều số không, một biểu diễn như vậy có thể mang lại sự tiết kiệm bộ nhớ đáng kể so với biểu diễn pixel ban đầu [latex]y[/latex].

Tính thưa của nghiệm của bài toán trên đối với một loạt các hình ảnh [latex]y[/latex] khả dĩ phụ thuộc rất nhiều vào đặc điểm của các hình ảnh, cũng như vào tập hợp các hình ảnh cơ bản chứa trong [latex]A[/latex]. Trong thực tế, người ta mong muốn đánh đổi giữa thước đo độ chính xác ở trên với một thước đo nào đó về tính thưa của véctơ tối ưu [latex]x[/latex].