Jak Vitreon dosahuje +36% nad SOTA v českém právním AI

Když právník hledá relevantní judikaturu nebo potřebuje ověřit, jak soud rozhodl v konkrétní právní otázce, má v České republice dvě hlavní možnosti: Beck-online a ASPI. Obě databáze fungují na principu klíčových slov — zadáte hledaný výraz a procházíte desítky až stovky výsledků. Vitreon Legal tento přístup zásadně mění. Místo seznamu dokumentů dostanete přesnou odpověď s citací na konkrétní stránku a paragraf.

Ale jak víme, že naše odpovědi jsou skutečně přesné? Nestačí to jen tvrdit — je potřeba to měřit. Proto jsme náš systém otestovali na nezávislých, veřejně dostupných benchmarcích.

Co je SOTA a proč na něm záleží

SOTA(State of the Art) znamená “nejlepší publikovaný výsledek” na daném benchmarku. Když řekneme, že Vitreon dosahuje +36% nad SOTA, znamená to, že náš systém překonává dosud nejlepší publikovaný výsledek o 36 procentních bodů. To není marginální zlepšení — je to kvalitativní skok.

V kontextu právního výzkumu to znamená: odpovědi jsou přesnější, relevantní dokumenty se nacházejí spolehlivěji a citace jsou ověřitelnější.

Benchmark GaRAGe (ACL 2025)

GaRAGe (General-purpose RAG evaluation) je benchmark publikovaný na konferenci ACL 2025 společností Amazon Science. Hodnotí celý pipeline systémů pro Retrieval-Augmented Generation — tedy schopnost najít relevantní pasáže v dokumentech a na jejich základě vygenerovat správnou, podloženou odpověď.

Hlavní metrikou je RAF (Retrieval Accuracy Factor), který kombinuje přesnost vyhledávání s věrností odpovědi.

Jak funguje Vitreon retrieval pipeline

Klíčem k těmto výsledkům je vícestupňový vyhledávací pipeline, který kombinuje několik přístupů. Každý stupeň řeší jiný aspekt problému vyhledávání v právních dokumentech.

Stupeň 1: Hybridní vyhledávání

Každý dotaz prochází současně dvěma vyhledávacími systémy. BM25(lexikální vyhledávání) nachází přesné shody — čísla paragrafů, specifické právní termíny, spisové značky. Vektorové vyhledávání (sémantické) nachází obsahově podobné pasáže, i když jsou formulovány jinak než dotaz.

Výsledky obou systémů se spojí pomocí Reciprocal Rank Fusion (RRF)— algoritmu, který kombinuje rankingy z různých zdrojů a upřednostňuje dokumenty, které se umístily vysoko v obou systémech.

Stupeň 2: Asymetrické embeddingové modely

Pro vektorové vyhledávání používáme model Qwen3-Embedding-8Bs asymetrickým kódováním. To znamená, že dotazy a dokumenty se kódují odlišně — dotaz je optimalizován pro “hledání odpovědi”, zatímco dokument je optimalizován pro “poskytnutí odpovědi”. Tento přístup je zásadní pro právní texty, kde se otázka formuluje zcela jinak než odpověď v zákoně.

Stupeň 3: Cross-encoder reranking

Kandidátské pasáže z hybridního vyhledávání projdou cross-encoder modelem, který společně zakóduje dvojici (dotaz, pasáž) a vyhodnotí relevanci. Tento stupeň je výpočetně náročný, ale přináší rozhodující zpřesnění — v právním výzkumu může rozdíl mezi “podobnou” a “správnou” pasáží spočívat v jediné podmínce nebo kvalifikaci.

Stupeň 4: Podložená generace odpovědí

Nejlépe hodnocené pasáže se předají jazykovému modelu se striktní instrukcí: generovat odpověď výhradně z dodaného kontextu a každé tvrzení opatřit citací na zdrojový dokument, stránku a paragraf. Pokud odpověď v dokumentech není, systém to explicitně uvede — místo toho, aby si odpověď vymyslel.

Proč je to důležité pro český právní výzkum

Česká republika má jednu z nejrozsáhlejších sbírek judikatury v Evropě. Vitreon Legal indexuje více než 295 000 soudních rozhodnutí a 6 800+ zákonů a vyhlášek. Tradiční vyhledávání v takto rozsáhlém korpusu je časově náročné a závisí na tom, zda uživatel zvolí správná klíčová slova.

S Vitreon pipeline může právník položit otázku přirozeným jazykem — česky nebo anglicky — a získat podloženou odpověď s přesnými citacemi. Nemusí procházet stovky výsledků a hádat, které klíčové slovo použít. Systém rozumí právní terminologii nativně: “judikatura”, “občanský zákoník”, “soudní rozhodnutí”, “dovolání”.

Benchmark LEXam Open EN (ICLR 2026)

Kromě GaRAGe jsme testovali i na benchmarku LEXam, publikovaném na konferenci ICLR 2026. LEXam hodnotí schopnost AI systémů odpovídat na právní otázky z profesních zkoušek. Na variantě Open EN (anglické otevřené otázky) Vitreon dosahuje 0.691, což je +21% nad baseline Claude 3.7 Sonnet (0.572).

Tento výsledek ukazuje, že retrieval-augmented přístup (vyhledávání + generace) výrazně překonává čistý jazykový model i na úrovni profesních právních zkoušek.

ARLC 2026: 4. místo z 80 týmů

V únoru 2026 jsme se pod týmovým jménem “Neon Team” zúčastnili mezinárodní soutěže Agentic RAG Legal Challenge (ARLC 2026) v rámci Dubai AI Week. Soutěžilo 80 týmů z celého světa o prize pool $32 000. Na warmup kole jsme dosáhli skóre 0.958 (1. místo), ve finále 0.719 (4. místo).

Stejný retrieval pipeline, který dosáhl těchto soutěžních výsledků, nyní pohání produkční platformu Vitreon Legal. Podrobný popis soutěže najdete v článku How Vitreon Placed 4th in ARLC 2026 (anglicky).

100% pokrytí citací

Každá odpověď vygenerovaná Vitreon Legal obsahuje citace na přesnou stránku, paragraf a zdrojový dokument. To není statistický průměr — je to architektonická záruka systému. Jazykový model generuje odpovědi výhradně z nalezených pasáží a každé tvrzení musí být podložené.

Pro právníka to znamená: každou citaci si můžete okamžitě ověřit v původním dokumentu. Žádné halucinace. Žádná nepodložená tvrzení.

Jak začít

Vitreon Legal je dostupný na vitreon.app. Bezplatný plán zahrnuje 3 dotazy denně bez nutnosti platební karty. Stačí se registrovat pomocí Google účtu nebo emailu a začít vyhledávat v české judikatuře a legislativě.

Kompletní přehled benchmarkových výsledků najdete na stránce Benchmarks.