Jak Vitreon dosahuje +36% nad SOTA v českém právním AI

Když právník hledá relevantní judikaturu nebo potřebuje ověřit, jak soud rozhodl v konkrétní právní otázce, má v České republice dvě hlavní možnosti: Beck-online a ASPI. Obě databáze fungují na principu klíčových slov — zadáte hledaný výraz a procházíte desítky až stovky výsledků. Vitreon Legal tento přístup zásadně mění. Místo seznamu dokumentů dostanete přesnou odpověď s citací na konkrétní stránku a paragraf.

Ale jak víme, že naše odpovědi jsou skutečně přesné? Nestačí to jen tvrdit — je potřeba to měřit. Proto jsme náš systém otestovali na nezávislých, veřejně dostupných benchmarcích.

Co je SOTA a proč na něm záleží

SOTA(State of the Art) znamená “nejlepší publikovaný výsledek” na daném benchmarku. Když řekneme, že Vitreon dosahuje +36% nad SOTA, znamená to, že náš systém překonává dosud nejlepší publikovaný výsledek o 36 procentních bodů. To není marginální zlepšení — je to kvalitativní skok.

V kontextu právního výzkumu to znamená: odpovědi jsou přesnější, relevantní dokumenty se nacházejí spolehlivěji a citace jsou ověřitelnější.

Benchmark GaRAGe (ACL 2025)

GaRAGe (General-purpose RAG evaluation) je benchmark publikovaný na konferenci ACL 2025 společností Amazon Science. Hodnotí celý pipeline systémů pro Retrieval-Augmented Generation — tedy schopnost najít relevantní pasáže v dokumentech a na jejich základě vygenerovat správnou, podloženou odpověď.

Hlavní metrikou je RAF (Retrieval Accuracy Factor), který kombinuje přesnost vyhledávání s věrností odpovědi.

Jak funguje Vitreon retrieval pipeline

Klíčem k těmto výsledkům je vícestupňový vyhledávací pipeline, který kombinuje několik přístupů. Každý stupeň řeší jiný aspekt problému vyhledávání v právních dokumentech.

Stupeň 1: Hybridní vyhledávání

Každý dotaz prochází současně dvěma vyhledávacími systémy. BM25(lexikální vyhledávání) nachází přesné shody — čísla paragrafů, specifické právní termíny, spisové značky. Vektorové vyhledávání (sémantické) nachází obsahově podobné pasáže, i když jsou formulovány jinak než dotaz.

Výsledky obou systémů se spojí pomocí Reciprocal Rank Fusion (RRF)— algoritmu, který kombinuje rankingy z různých zdrojů a upřednostňuje dokumenty, které se umístily vysoko v obou systémech.

Stupeň 2: Asymetrické embeddingové modely

Pro vektorové vyhledávání používáme model Qwen3-Embedding-8Bs asymetrickým kódováním. To znamená, že dotazy a dokumenty se kódují odlišně — dotaz je optimalizován pro “hledání odpovědi”, zatímco dokument je optimalizován pro “poskytnutí odpovědi”. Tento přístup je zásadní pro právní texty, kde se otázka formuluje zcela jinak než odpověď v zákoně.

Stupeň 3: Cross-encoder reranking

Kandidátské pasáže z hybridního vyhledávání projdou cross-encoder modelem, který společně zakóduje dvojici (dotaz, pasáž) a vyhodnotí relevanci. Tento stupeň je výpočetně náročný, ale přináší rozhodující zpřesnění — v právním výzkumu může rozdíl mezi “podobnou” a “správnou” pasáží spočívat v jediné podmínce nebo kvalifikaci.

Stupeň 4: Podložená generace odpovědí

Nejlépe hodnocené pasáže se předají jazykovému modelu se striktní instrukcí: generovat odpověď výhradně z dodaného kontextu a každé tvrzení opatřit citací na zdrojový dokument, stránku a paragraf. Pokud odpověď v dokumentech není, systém to explicitně uvede — místo toho, aby si odpověď vymyslel.

Proč je to důležité pro český právní výzkum

Česká republika má jednu z nejrozsáhlejších sbírek judikatury v Evropě. Vitreon Legal indexuje více než 295 000 soudních rozhodnutí a 6 800+ zákonů a vyhlášek. Tradiční vyhledávání v takto rozsáhlém korpusu je časově náročné a závisí na tom, zda uživatel zvolí správná klíčová slova.

S Vitreon pipeline může právník položit otázku přirozeným jazykem — česky nebo anglicky — a získat podloženou odpověď s přesnými citacemi. Nemusí procházet stovky výsledků a hádat, které klíčové slovo použít. Systém rozumí právní terminologii nativně: “judikatura”, “občanský zákoník”, “soudní rozhodnutí”, “dovolání”.

Benchmark LEXam Open EN (ICLR 2026)

Kromě GaRAGe jsme testovali i na benchmarku LEXam, publikovaném na konferenci ICLR 2026. LEXam hodnotí schopnost AI systémů odpovídat na právní otázky z profesních zkoušek. Na variantě Open EN (anglické otevřené otázky) Vitreon dosahuje 0.691, což je +21% nad baseline Claude 3.7 Sonnet (0.572).

Tento výsledek ukazuje, že retrieval-augmented přístup (vyhledávání + generace) výrazně překonává čistý jazykový model i na úrovni profesních právních zkoušek.

ARLC 2026: 4. místo z 80 týmů

V únoru 2026 jsme se pod týmovým jménem “Neon Team” zúčastnili mezinárodní soutěže Agentic RAG Legal Challenge (ARLC 2026) v rámci Dubai AI Week. V warmup kole soutěžilo 340 týmů, top 80 postoupilo do finále. Na warmup kole jsme dosáhli skóre 0.920 (9. místo z 340, G sub-score 0.957), ve finále 0.719 (4. místo z 80).

Stejný retrieval pipeline, který dosáhl těchto soutěžních výsledků, nyní pohání produkční platformu Vitreon Legal. Podrobný popis soutěže najdete v článku How Vitreon Placed 4th in ARLC 2026 (anglicky).

100% pokrytí citací

Každá odpověď vygenerovaná Vitreon Legal obsahuje citace na přesnou stránku, paragraf a zdrojový dokument. To není statistický průměr — je to architektonická záruka systému. Jazykový model generuje odpovědi výhradně z nalezených pasáží a každé tvrzení musí být podložené.

Pro právníka to znamená: každou citaci si můžete okamžitě ověřit v původním dokumentu. Žádné halucinace. Žádná nepodložená tvrzení.

Jak začít

Vitreon Legal je dostupný na vitreon.app. Bezplatný plán zahrnuje 3 dotazy denně bez nutnosti platební karty. Stačí se registrovat pomocí Google účtu nebo emailu a začít vyhledávat v české judikatuře a legislativě.

Kompletní přehled benchmarkových výsledků najdete na stránce Benchmarks.