MT_BESEDILO

Določa kako se koda znaka dejansko zapiše v obliki bajtov

• American Standard Code for Information Interchange
• 7 bitna kodna tabela, 128 kod, 95 izpisljivih znakov in 33 kontrolnih

• Universal Character Set
• 32 bitov
• 4 dimenzionalna kocka
• 256 skupin
• 256 ravnin
• 256 vrst
• 256 znakov

• ascii znake 0 do 7f predstavi z enim znakom
• ostale nad 80 z dvema do štirimi bajti

• Z označevalskimi jeziki html, latex
• Za pregled uporabljamo pregledovalnik oz parser

• Imamo več dokumentov ki predstavljajo sezname besed
• za vsako besedo naredimo seznam dokumentov ki to besedo vsebujejo
• Primer:
• Brutos -> 1, 2, 4, 11, 31, 45
• Caesar -> 1,2,4,5,6
• Calpurnia -> 2,31,54,101
• Koraki pri gradnji:
• 1.Izberemo dokumente za indeksiranje
• 2.Iz dokumentov izločimo besede
• 3.besede pretvorimo v simbole(samo damo vse v malo zacetnico)
• 4.zgradimo obrnjen index

• Brotus and Caesar
• Gremo čez inverted indekse in iščemo če se pojavijo kaki skupni dokumenti
• Sprehodimo se skozi najkrajšega.

• Znebimo se raznik vezajev
• Pretvorimo v mali crke

• Odrežemo konce besed
• Pravilo ies -> i ponies v poni
• Pravilo S cats v cat

• Bolj kompleksno kot korenjenje
• Besede pretvorimo v nevtralno obliko
• am, are, is -> be

• To je v bistvu linked list ki ima po vrsti urejene elemente
• Lahko uvedemo dodatne kazalce za preskakovanje po dokumenih, tako da iskanje ni linearno
• Problem koliko skokov postaviti
• Dobra praksa je sqrt(dolzina seznama dokumentov)

• V obrnjen indeks shranimo še poločaj v dokumentu
• Obrnjen indeks lahko predstavlja od 35 do 50% velikosti dokumenta

• vsako vozljišče ima lahko več naslednjikov a intervalu [a,b]
• je uravnoteženo - vsi listi so na enaki globini

Koliko najmanj operacij potrebujemo, da niz s1 pretvorimo v s2

Gradimo matriko vseh možnih pretvorb iz ene oblike v drugo

Najde fonetično razdaljo med besedami, glede nato kako so si podobne ob angleški izgorjavi

• Rangiranje nam prikaže najpomembnejše dokumente najprej
• Besede ki se pogosto uporabljajo v dokumentih niso tako pomembne
• Zato lahko damo prednost dokumentom, ki imajo bolj redke besede

Elemente lahko predstavimo kot vektor v prostoru in računamo razdalje med njimi