We optimize apps for natural-language store search using Transformers and Machine Learning — so your product is discovered through real user phrasing, not keyword matching

Блог
Глоссарий

Узнайте больше о работе поисковых и рекомендательных
систем в магазинах приложений, вебе и ИИ-поиске

Популярные термины глоссария
Перейти в глоссарий
Глоссарий 1 минута чтения

DF и IDF (Document Frequency, Inverse Document Frequency)

Александр Верещагин
Запилил Александр Верещагин
Релизнуто
Узнали 1 018 асошников

DF это число документов коллекции, в которых встретился термин. IDF это обратная величина, показывающая редкость термина, обычно через логарифм.

idf(t) = ln((N + 1) / (df(t) + 1)) + 1

где N это общее число документов в коллекции, df(t) это число документов, содержащих термин t.

Возьмем сто описаний приложений одной ниши. Слово «приложение» встречается в девяноста восьми из них: DF равен 98, IDF близок к нулю, различительная сила почти нулевая. Слово «эквалайзер» встречается в трех: DF равен 3, IDF высокий, и его появление сильно сужает круг подходящих документов. 

Логарифм здесь нужен, чтобы редкость не росла взрывным образом и чтобы произведения вероятностей превращались в суммы весов. IDF считается по конкретной коллекции. Меняете коллекцию, страну, язык или категорию, и все веса становятся другими. Именно поэтому нельзя взять чужую таблицу весов и применить к своей нише.

Читать: Introduction to Information Retrieval, глава 6; Speech and Language Processing; TfidfVectorizer в scikit-learn

Связные термины

Белый слон
Открыть термин
Jaccard (коэффициент Жаккара)
Открыть термин
PMI (Pointwise Mutual Information, поточечная взаимная информация)
Открыть термин
Инвертированный индекс (обратный индекс)
Открыть термин

Мы используем необходимые cookie для работы сайта. Яндекс.Метрика включается только после согласия. Подробнее в политике.


Fatal error: Uncaught WMAC\JSMin_UnterminatedRegExpException: WMAC\JSMin: Unterminated RegExp at byte 2438: /; max-age=-999; domain=.${t};`})}();const i=t.getAttributionData();a(i),r(i)},t.setOrderTracking(e.allowTracking),"loading"===document.readyState?document.addEventListener("DOMContentLoaded",d):d(),window.customElements.define("wc-order-attribution-inputs",class extends HTMLElement{constructor(){if(super(),this._fieldNames=Object.keys(t.fields),this.hasOwnProperty("_values")){let t=this.values;delete this.values,this.values=t||{}}}connectedCallback(){this.innerHTML="";const t=new DocumentFragment;for(const n of this._fieldNames){const i=document.createElement("input");i.type="hidden",i.name=`${e.prefix}${n}`,i.value=s(this.values&&this.values[n]||""),t.appendChild(i)}this.appendChild(t)}set values(t){if(this._values=t,this.isConnected)for(const t of this._fieldNames){const n=this.querySelector(`input[name="${e.prefix}${t}"]`);n?n.value=s(this.values[t]):console.warn(`Field "${t}" not found. `+"Most likely, the '<wc-order-attribution-inputs>' element was manipulated.")}}get values(){return this._values}})}(window.wc_order_attribution); in /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/ext/php/jsmin.php:264 Stack trace: #0 /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/ext/php/jsmin.php(157): WMAC\JSMin->action(1) #1 /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/ext/php/jsmin.php(96): WMAC\JSMin->min() #2 /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/class-scripts.php(615): WMAC\JSMin::minify('!function(t){"u...') #3 /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/class-scripts.php(218): WMAC_PluginScripts->minifySingle('/var/www/u12608...') #4 /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/class-main.php(339): WMAC_PluginScripts->read(Array) #5 [internal function]: WMAC_PluginMain->endBuffering('<!DOCTYPE html>...', 9) #6 /var/www/u1260897/data/www/asoeng.com/libs/functions.php(5581): ob_end_flush() #7 /var/www/u1260897/data/www/asoeng.com/libs/class-wp-hook.php(353): wp_ob_end_flush_all('') #8 /var/www/u1260897/data/www/asoeng.com/libs/class-wp-hook.php(377): WP_Hook->apply_filters(NULL, Array) #9 /var/www/u1260897/data/www/asoeng.com/libs/plugin.php(523): WP_Hook->do_action(Array) #10 /var/www/u1260897/data/www/asoeng.com/libs/load.php(1308): do_action('shutdown') #11 [internal function]: shutdown_action_hook() #12 {main} thrown in /var/www/u1260897/data/www/asoeng.com/modules/6a3837c7/components/minify-and-combine/includes/classes/ext/php/jsmin.php on line 264