Tarkkuus ja uskottavuus
VertaaUX-auditoinnit on suunniteltu todennettaviksi. Emme vain tuota löydöksiä — julkaisemme sen, mikä tekee niistä luotettavia: mitkä osat ovat deterministisiä vs. tekoälyavusteisia, miten luottamusarvot määritetään ja miten kukin löydös linkittyy tarkastettavaan todisteeseen.
Ydintestitarkistukset lasketaan sivun tilannekuvasta (DOM/CSS/asettelu) ja tuottavat yhtenäisiä tuloksia samalle syötteelle ja sääntöjoukolle.
Löydöksiin sisältyy valitsimet ja muut jäljitettävyyskenttä kun saatavilla. Tämä mahdollistaa nopean toistamisen ja ihmisarvioinnin.
Seuraamme tarkkuussignaaleja (tarkkuus/kattavuus, väärät positiiviset, vakaus) ja julkaisemme metodologian niin, että luvut ovat tulkittavissa.
Mitä tarkkuus tarkoittaa tässä
"Tarkkuus" ei ole yksittäinen pisteytys. Julkaisemme useita signaaleja, jotta tiimit voivat arvioida uskottavuutta eri näkökulmista: oikeellisuus, toistettavuus ja jäljitettävyys.
Pyrimme mittaamaan, kuinka usein löydökset ovat tosia (tarkkuus) ja kuinka usein todelliset ongelmat havaitaan (kattavuus). Jos merkittyä aineistoa ei vielä ole saatavilla, merkitsemme mittarit eksplisiittisesti "tavoite" vs. "mitattu".
Mittaamme, tuottavatko saman tilannekuvan toistuvat auditoinnit samat tulokset. Determinististen tarkistusten pitäisi olla vakaita; kaikki probabilistiset tulokset luottamuspisteytetään.
Validointi ja metodologia
Näin VertaaUX-auditointi tuotetaan ja miten tuloksia tulkitaan.
Suurin osa havaitsemisesta on deterministinen (DOM/CSS/käyttäytymissimulaatio). Valinnaiset parannus kerrokset voivat käyttää koneoppimista tai tekoälyä yhteenvedoissa, priorisoinnissa tai korjausehdotuksissa.
- Deterministinen: tilannekuvan jäsennys, semanttinen rakenne, näppäimistön käytettävyys tapahtumalähetyksen kautta, fokusin näkyvyys ohjelmallisella focus/blur-erottelulla, pisteytys.
- Tekoälyavusteinen (kun käytössä): korjausehdotukset ja muut korkeamman tason suositukset.
Löydökset on suunniteltu tarkastettaviksi. Kun saatavilla, kukin löydös sisältää:
- rule_id and ruleset_version for traceability and repeatability.
- confidence for probabilistic outputs (LLM/ML-assisted).
- selector and/or element reference for reproduction.
- Evidence such as DOM snippet, WCAG references, and links to the audited page context.
Odotettavissa olevat väärät positiiviset / negatiiviset
Common false positives
- Highly customized components where semantics are correct but hard to infer from DOM alone.
- Dynamic UI states that differ between initial load and real-user interaction flows.
- Modals or overlays that are hidden at page load and only testable when triggered by user interaction.
Common false negatives
- Content behind authentication, feature flags, or geo blocks.
- Issues that only appear after long sessions, complex multi-step flows, or user-generated data.
- Late-loading elements that appear after network-idle snapshots.
Esimerkki: todistepohjainen löydösrakenne
Tämä esimerkki näyttää jäljitettävyyteen käyttämämme muodon. Jokainen löydös ei vielä sisällä jokaista kenttää; puuttuvat kentät käsitellään "tarvitsee ihmisarviointia" eikä pakoteta varmuuteen.
{
"category": "semantic",
"severity": "warning",
"rule_id": "semantic.heading_hierarchy",
"ruleset_version": "1.0.0",
"confidence": 0.92,
"selector": "main h3:nth-of-type(2)",
"dom_snippet": "<h3>Pricing</h3>",
"wcag_reference": "WCAG 2.2 — 1.3.1",
"evidence": {
"why": "Heading level skips from H1 to H3, which can confuse assistive tech.",
"how_to_verify": "Inspect the DOM and confirm heading order matches visual hierarchy."
}
}Voit viedä raakaa JSON-dataa auditoinnin tulokset -näkymästä (Vie JSON) ja validoida valitsimet ja säännöt sivun DOM:ia vasten.
Luottamusmerkinnät
Uskottavuus on myös operatiivista. Metodologian lisäksi tarjoamme signaaleja siitä, että järjestelmää ylläpidetään vastuullisesti.
Muutokset seurataan ja toimitetaan sääntöjoukon versiolla, jotta tiimit voivat vertailla tuloksia ajan myötä.
Webhook-kuormat allekirjoitetaan (HMAC) ja toimitukset kirjataan uudelleenyrityksineen tarkistettavuuden vuoksi.
Tietoturvaotsikot, nopeudenrajoitus ja SSRF-suojaukset otetaan käyttöön väärinkäytön vähentämiseksi ja infrastruktuurin suojaamiseksi.