Slik fører vi tilsyn med nettsteder og apper

Tilsynets interne forberedelser

Valg av virksomheter, nettsteder og apper

Tilsynet velger ut virksomheter, nettsteder og apper for kontroll ut fra en totalvurdering der vi vektlegger flere hensyn. Vi bruker tilsynets kunnskap om fare for svikt i etterlevelsen av regelverket, som bl.a. bygger på statusmålinger og andre kartlegginger.

Tilsynsstrategien vår gir overordnede føringer for kontrollene og sier noe om satsingsområder for perioden. Samtidig vurderer vi også virksomheter i andre bransjer enn satsingsområdene, dersom den aktuelle løsningen

• har mange brukere
• er viktig for den enkelte sin rett til likeverdig samfunnsdeltakelse

Utvalg av krav og testsider

Alle kontroller vi gjennomfører bygger på et utvalg, og er ikke en fullstendig gjennomgang av nettstedet eller appen. Vi gjør alltid et utvalg av hvilke brukeroppgaver, enkeltsider og krav som skal testes. Utvalget skjer etter en helhetsvurdering av blant annet

• viktige brukeroppgaver på nettstedet eller i appen
• risiko for brudd på kravene
• ulike sidemaler og innholdstyper
• kunnskap om vanlige feil
• innledende visuell sjekk og enkle stikkprøver

Varsel om tilsyn

Vi gjennomfører aldri kontroller uten at virksomheten vet om det på forhånd. Vi varsler virksomheten minst 14 dager før vi starter test av nettstedet eller appen.

Tilsynsvarsel og andre dokumenter sender vi ut digitalt via eFormidling. Virksomheten mottar dokumentet i sitt saksbehandlingssystem eller meldingsboks i Altinn. Tilsynsvarselet er merket med navnet til øverste leder av virksomheten.

Formålet med tilsynsvarselet er å

• varsle virksomheten om at nettstedet eller appen deres skal kontrolleres
• be om dokumentasjon og en kontaktperson i virksomheten
• gi oversikt over viktige frister, tidspunkter og steg i tilsynsprosessen
• informere om hva kontrollen gjelder og hvilke krav som skal testes
• informere om Tilsynet for universell utforming av ikt

Virksomheten skal bekrefte at tilsynsvarselet er mottatt. Mange gjør dette samtidig med at de oppgir hvem som er kontaktperson i virksomheten for tilsynet. Det varierer hvem som er kontaktperson, men det er ofte nettredaktør eller kommunikasjonsdirektør.

Dialog med virksomheten

Vi har alltid dialog med virksomheten underveis i tilsynet.

Vanligvis har vi kontakt i forbindelse med at virksomheten mottar tilsynsvarsel, ved innsending av dokumentasjon, når de mottar foreløpig tilsynsrapport og når virksomheten jobber med retting av feil.

Mange virksomheter og deres leverandører ønsker nærmere veiledning om innholdet i kravene, informasjon om hvordan vi tester og vurdering av forslag til retting av feil. Vi ser det som positivt at virksomheten er aktiv, stiller spørsmål og ber om avklaringer. Dette er lærerikt både for tilsynet og virksomheten. Erfaringen er at det er stor variasjon i hvor aktiv virksomheten er underveis i tilsynet.

Dokumentasjon

I tilsynsvarselet ber vi virksomheten om å sende oss utvalgt dokumentasjon. Dokumentasjon vi vanligvis ber om er

• viktige brukeroppgaver
• oversikt over mest brukte sider
• oversikt over kjente feil knyttet universell utforming

Vi trenger dokumentasjonen for å velge ut relevante brukeroppgaver, prosesser og enkeltsider for testing, og for å få inntrykk av om virksomheten har oversikt over status for universell utforming av nettstedet eller appen.

Likevel er selve nettstedet eller appen den viktigste dokumentasjonen på om virksomheten faktisk etterlever kravene til universell utforming eller ikke.

Ny ikt

Skillet mellom ny og eksisterende ikt opphørte 1. januar 2021. Nå er alle nettsteder og apper, som oppfyller grunnvilkårene i regelverket, omfattet av kravene uavhengig av nettstedets eller appens alder.

Avlysning og utsettelse av tilsyn

Enkelte ganger blir en varslet kontroll avlyst eller utsatt.

Tilsynet kan utsettes hvis dokumentasjonen fra virksomheten viser at de er i gang med anskaffelse av nytt nettsted eller ny app, eller står midt i en prosess med vesentlige endringer av dagens løsninger. I en slik situasjon vurderer vi det normalt som hensiktsmessig å utsette kontrollen til ny eller oppgradert løsning er publisert. Dette er mer fornuftig enn at vi og virksomheten bruker ressurser på å teste og rette feil i en nettløsning som skal byttes ut eller endres mye i løpet av kort tid.

Testing av nettstedet eller appen og dokumentasjon av resultater

Testing av nettstedet eller appen til virksomheten er den viktigste aktiviteten i en kontroll.

Testingen får opp og dokumenterer status for universell utforming, slik den er på testtidspunktet.

Vi gjennomfører testingen på utvalgte deler av nettstedet eller appen. Med dagens teknologi, krav og testmetoder er det er ikke praktisk mulig å gjøre en fullstendig test Vi velger hvilke sider som skal testes ut fra tema som er valgt for kontrollen, kombinert med en oversikt over hvilke sider og tjenester som er mest brukt.

Gjennomføring av test

Testingen utføres av ansatte i tilsynet. Vi sjekker vanligvis viktige brukeroppgaver og funksjonalitet opp mot ett sett med testregler. Noen ganger tester vi et tilfeldig utvalg enkeltsider.

Testingen er en kombinasjon av manuell, halvautomatisk og automatisk testing. Flertallet av kravene i regelverket forutsetter fremdeles manuell testing. Alle testresultater blir registrert og dokumentert. I tillegg til selve testregisteringen, blir resultatet dokumentert med skjermbilde av feilen, der dette er praktisk mulig.

Testresultatene blir presentert for virksomheten i tilsynsrapporten. De får tilsendt bildene av feilene samtidig med tilsynsrapporten.

Tilsynets tolkning av WCAG og testregler

Testreglene er tilsynets tolkning av de 35 minstekravene i regelverket.

Vi har utarbeidet et sett med testregler for å måle samsvar eller brudd med regelverket. Hver testregel bygger på

• en dokumentert tolkning av WCAG 2.0
• informasjon om hva som skal til for å oppfylle hvert enkelt krav
• en standardisert og detaljert testprosedyre
• en bestemt mal for registering av testdata
• forhåndsdefinerte testresultat som blir generert automatisk på grunnlag av registrerte testdata

Vurdering og sammenstilling av testresultater

Etter at testingen er gjennomført sammenstiller vi de ulike testresultatene som viser brudd på regelverket.

Brudd som blir avdekket under kontrollen presenteres i tilsynsrapporten.

Vi dokumenterer hvilke krav bruddene gjelder og underbygger dette med konkrete testresultater.

Mulige resultater etter en kontroll

Det er to mulige resultater av en kontroll. Det er viktig å huske på at resultatene gir uttrykk for status på nettstedet eller appen på testtidspunktet.

Brudd på minstekravene til universell utforming

Brudd på minstekravene innebærer at virksomheten ikke oppfyller kravene i regelverket. Brudd som står i tilsynsrapporten skal rettes av virksomheten i etterkant, og blir fulgt opp av tilsynet.

Brudd på minstekravene kan følges opp med reaksjoner dersom det er nødvendig.

Samsvar med kravene

Dersom det ikke avdekkes brudd på kravene som blir testet i kontrollen, betyr det at nettstedet eller appen er i samsvar med regelverket innenfor rammene av de kravene, enkeltsidene og brukeroppgavene som inngikk i testingen.

Tilsynsrapporten

Alle kontroller blir oppsummert i en tilsynsrapport. Formålet med tilsynsrapporten er å oppsummere og dokumentere kontrollen som er utført. Den viser blant annet

• resultater med begrunnelse og oversikt over hvilke krav som er brutt
• hvilken virksomhet og hvilket nettsted eller app som er kontrollert
• hvilke deler av nettstedet eller appen som er undersøkt og hvilke krav som er testet
• hvordan kontrollen er gjennomført

Foreløpig rapport

Først sender vi ut en foreløpig rapport slik at virksomheten skal få sette seg inn resultatene og begrunnelsen. Da får virksomheten anledning til å imøtegå faktaopplysningene i rapporten, stille spørsmål og gi kommentarer.

Foreløpig rapport blir sendt til virksomheten innen tre uker etter at testingen er gjennomført.

Tilbakemeldinger fra virksomheten

Virksomheten kan gi skriftlige tilbakemeldinger på faktagrunnlaget og vurderingene i rapporten. Tilbakemeldingsfristen er en uke fra rapporten er sendt. Slik kan eventuelle feil eller misforståelser rettes opp i endelig rapport.

Endelig rapport

Endelig tilsynsrapport gir en endelig oppsummering av tilsynet, med oversikt over blant annet resultater og aktiviteter. Endelig rapport er justert i samsvar med relevante tilbakemeldinger fra virksomheten.

Tilsyn uten brudd på regelverket avsluttes med endelig rapport.

Publisering

Tilsynsrapporten er et offentlig dokument som ligger på eInnsyn. I tillegg publiserer vi alle tilsynsrapporter på nettstedet vårt.

Tilsynsrapporter er nyttig å lese også for andre virksomheter som skal etterleve regelverket og alle som jobber med ikt-løsninger. Ofte er det de samme feilene som går igjen. Å sette seg inn i resultatene som viser hvor det svikter hos andre, vil derfor bidra til læring, kvalitetsheving og bedre forståelse av regelverket og innholdet i kravene.

Oppfølging av brudd på regelverket

Kontroller der vi avdekker brudd på regelverket, blir fulgt opp av tilsynet. Hensikten med å følge opp virksomheten, er å sørge for at brudd som ble funnet i testingen, blir rettet opp.

Vanligvis er det flere fremgangsmåter som kan brukes for å oppfylle kravene. Virksomheten velger selv hvordan bruddene skal rettes, så lenge resultatet er i samsvar med kravene.

Bruk av reaksjoner er virkemiddel som skal sikre at virksomhetene følger regelverket. Reaksjoner brukes alltid der kontrollen avdekker brudd på minstekravene.

Tilsynet har to reaksjonsformer:

• Pålegg om retting.
• Tvangsmulkt (dagbot).

Vedtak om reaksjoner følger reglene for enkeltvedtak i forvaltningsloven kapittel 4 og 5.

Pålegg om retting

Virksomheten får et eget vedtak med pålegg om retting, som sendes ut samtidig med endelig rapport. Innholdet i pålegget viser til bruddene med begrunnelse i tilsynsrapportens kapittel 2.

Retting fører til at nettstedet eller appen går fra å være i strid med regelverket til å bli i samsvar med kravene, innenfor de temaene og på de sidene som er kontrollert under tilsynet.

Pålegg om retting inneholder også et varsel om bruk av tvangsmulkt, dersom virksomheten ikke korrigerer feil innen fristen i pålegget.

Frist for retting

Når endelig tilsynsrapport er sendt ut, har virksomheten åtte uker på seg til å rette bruddene som er dokumentert i tilsynsrapporten. Fristen regnes fra datoen for utsending av endelig tilsynsrapport.

Bruddene er rettet først når feilrettingene er satt i produksjon, slik at sluttbrukeren ikke lenger opplever feilene på nettstedet eller i appen. Sluttbruker er innbyggere, kunder og andre brukere. Feilrettingene skal derfor være satt i produksjon innen fristen.

Oppfølgingstest av nettstedet eller appen etter pålegg

Etter at fristen for retting er ute, gjennomfører tilsynet en oppfølgingstest. Oppfølgingstesten er avgrenset til bruddene som er dokumentert i tilsynsrapporten. Den gjøres for at vi skal få en dokumentert, oppdatert status etter at retting er gjennomført av virksomheten.

Hvis oppfølgingstesten konkluderer med at feilene er rettet på en måte som oppfyller kravene i regelverket, blir tilsynet avsluttet med et brev til virksomheten.

Tvangsmulkt (dagbot)

Tvangsmulkt er aktuelt for virksomheter som ikke viser vilje til å rette feil på nettstedet eller appen, selv etter at virksomheten har fått pålegg om å utbedre brudd på kravene.

Virksomheten får et eget vedtak om tvangsmulkt.

I vedtaket får virksomheten ny frist for å rette feilene som gjenstår. Vanligvis er denne fristen ti virkedager.

Dersom feil ikke blir rettet innen fristen går ut, får virksomheten tvangsmulkt. Størrelsen på dagboten skal være slik at det ikke lønner seg for virksomheten å la være å rette feil.

Den blir fastsatt etter en totalvurdering av flere momenter:

• Antall brukere av nettstedet eller appen.
• Hvor alvorlige er feilene – konsekvensen for brukerne.
• Hva det koster å rette feilene.
• Hvor krevende er det å rette feilene.
• Virksomhetens omsetning og økonomi.
• Virksomhetens størrelse.
• Hva som vil være rimelig tid til å rette feilene.

Oppfølgingstest av nettstedet eller appen etter tvangsmulkt

Etter at fristen i vedtaket om tvangsmulkt er ute, gjennomfører vi en ny oppfølgingstest. Den gjøres for at vi skal få en dokumentert, oppdatert status for nettstedet eller appen etter at vedtaket om tvangsmulkt ble gjort.

Virksomheten får eget brev om iverksettelse og inndrivelse av tvangsmulkt. Tvangsmulkten er en dagbot, som går inntil feilen er rettet. Vi har avtale med Statens Innkrevingssentral om inndrivelse av tvangsmulkt.

Virksomheten har klagerett på reaksjonsbruk

Virksomheten kan klage på bruk av pålegg om retting og vedtak om tvangsmulkt. Klagebehandlingen følger reglene i forvaltningsloven kapittel 6.

Digitaliserings- og forvaltningsdepartementet (DFD) er klageorgan.