Архитектура, в которой запрос и документ подаются модели одной последовательностью и оцениваются совместно.
Модель видит обе части сразу и может учесть, какие именно слова документа отвечают на какие слова запроса. Точность выше, чем у двухбашенной схемы. Цена тоже выше: заранее ничего посчитать нельзя, каждая пара считается во время запроса. Поэтому кросс-энкодер ставят на второй ступени, где кандидатов уже не миллион, а сотня. Комбинация «быстрый bi-encoder для отбора и точный cross-encoder для пересортировки» это стандартная промышленная схема.