Числовой вектор небольшой фиксированной длины, у которого почти все координаты отличны от нуля и ни одна координата по отдельности не соответствует конкретному слову.
Сравним два представления одного и того же текста. Разреженный вектор из TF-IDF имеет длину во весь словарь, это десятки тысяч позиций, и почти все они нули; каждая позиция читается как конкретное слово.
Плотный вектор из модели-энкодера имеет, например, 384 или 768 координат, и все они заполнены дробными числами. Отдельная координата не значит ничего, смысл несет вся совокупность. Отсюда разные свойства и разная область применения. Разреженный вектор точен на редком слове: видно, какое слово дало вклад в оценку. Плотный вектор ловит синонимы и перефразирование. Поэтому промышленные системы хранят оба представления и объединяют результаты двух поисков.
Читать: Solr: поиск по плотным векторам; Курс Google по эмбеддингам; Dense Passage Retrieval