Архитектура, в которой запрос и документ кодируются независимо друг от друга, а соответствие оценивается близостью двух готовых векторов.
Векторы всех документов считаются заранее и кладутся в индекс. Во время запроса нужно закодировать только сам запрос и найти ближайшие векторы. Отсюда скорость: тяжелая часть работы сделана до прихода пользователя. Ограничение архитектуры в том, что запрос и документ никогда не читаются моделью совместно, поэтому тонкие различия внутри пары теряются.
Читать: Dense Passage Retrieval; Sentence-BERT