Chapeau
År 2018, samtidigt som konferensen Content Moderation at Scale i USA gick av stapeln, var det en grupp med organisationer, påverkare och akademiska experter inom mänskliga rättigheter som tog fram och lanserade en uppsättning med tre principer för att på bästa sätt skapa meningsfull transparens och ansvarsskyldighet kring internetplattformars alltmer aggressiva moderering av användargenererat innehåll. De här principerna, som fått sitt namn efter Santa Clara i Kalifornien där gruppen först träffades, utgör rekommendationer om inledande steg som företag som arbetar med innehållsmoderering bör vidta för att kunna erbjuda berörda användare meningsfull rättssäkerhet och säkerställa att deras innehållsriktlinjer upprätthålls på ett rättvist, opartiskt och proportionerligt sätt som tar hänsyn till användarnas rättigheter. Det var den första versionen av Santa Clara-principerna.
Sedan 2018 har tolv större företag – inklusive Apple, Facebook (Meta), Google, Reddit, Twitter och GitHub – stöttat Santa Clara-principerna. Dessutom har det totala antalet företag som erbjuder transparens och rättssäkerhetsgarantier ökat, såväl som nivån av transparens och rättssäkerhetsgarantier som erbjuds av många av de största företagen.
Samtidigt blir de här företagens roll i samhället allt viktigare, och det medför ett ännu större ansvar för att erbjuda tillräcklig transparens kring de beslut som de fattar, för att kunna möjliggöra ansvarsskyldighet.
Av de anledningarna samlades en bred koalition av organisationer, påverkare och akademiska experter under 2020 och 2021 för att ta fram den här andra versionen av Santa Clara-principerna. De togs fram via en gedigen process med utkast och granskningar utifrån ett brett samråd med fler än 50 organisationer och personer. Eftersom den här andra versionen av Santa Clara-principerna bygger på erfarenheter och expertis från alla delar av världen återspeglar den det globala samhällets förväntningar och behov på ett bättre sätt.
Den andra versionen av Santa Clara-principerna är indelad i grund- och verksamhetsprinciper. Grundprinciper är övergripande och tvärgående principer som alla företag bör ta hänsyn till i arbetet med innehållsmoderering, oavsett affärsmodell, ålder och storlek. De beskriver varje princip och ger vägledning om hur den bör implementeras. Verksamhetsprinciperna beskriver mer detaljerade förväntningar på de största eller mognaste företagen med avseende på specifika steg och aspekter i processen för innehållsmoderering. Företag som är mindre, nyare och har mindre resurser kan också använda verksamhetsprinciperna för vägledning och som utgångspunkt för efterlevnad i framtiden. I motsats till de minimistandarder som beskrivs i den första versionen är den andra versionen mer specifik gällande exakt vilken information som krävs för att säkerställa meningsfull transparens och ansvarsskyldighet.
Den andra versionen av Santa Clara-principerna utökar omfattningen för var transparens krävs med avseende på vad som betraktas som ”innehåll” och ”åtgärder” som vidtas av ett företag. Termen ”innehåll” avser allt användargenererat innehåll på en tjänst, både betal- och gratisinnehåll, inklusive annonsering. Termerna ”åtgärd” och ”åtgärdad” avser alla typer av begränsningsåtgärd som ett företag vidtar gentemot en användares innehåll eller konto på grund av bristande efterlevnad av deras regler och policyer, inklusive (men inte begränsat till) borttagning av innehåll, algoritmisk nedrankning av innehåll samt inaktivering (tillfällig eller permanent) av konton.
Den andra versionen av Santa Clara-principerna har tagits fram för att hjälpa företag att uppfylla sina skyldigheter att respektera mänskliga rättigheter och öka sin ansvarsskyldighet, samt för att hjälpa påverkare inom mänskliga rättigheter i deras arbete. De är inte avsedda som en mall för bestämmelser.
Författare:
Grundprinciper
1. Mänskliga rättigheter och rättssäkerhet
Princip: Företag ska säkerställa att hänsynstaganden gällande mänskliga rättigheter och rättssäkerhet integreras i alla steg i processen för innehållsmoderering, och ska publicera information som beskriver hur den här integreringen sker. Företag ska endast använda automatiserade processer för att identifiera eller ta bort innehåll eller inaktivera konton, oavsett om de kompletteras av mänsklig granskning, när processernas kvalitet och precision är tillräckligt tillförlitliga. Företag ska också erbjuda användare tydliga och tillgängliga sätt att få hjälp vid eventuella åtgärder gentemot innehåll och konton.
Implementering: Användare ska försäkras om att hänsynstaganden gällande mänskliga rättigheter och rättssäkerhet har integrerats i alla steg i processen för innehållsmoderering, inklusive genom att informeras om följande:
- Hur företaget har tagit hänsyn till mänskliga rättigheter – särskilt rättigheterna till yttrandefrihet och icke-diskriminering – när de tagit fram sina regler och policyer.
- Hur företaget har tagit hänsyn till vikten av rättssäkerhet i upprätthållandet av sina regler och policyer, och särskilt att processen har integritet och administreras på ett rättvist sätt.
- I vilken utsträckning företaget använder automatiserade processer för innehållsmoderering och hur företaget har tagit hänsyn till mänskliga rättigheter vid sådan användning.
2. Tydliga regler och policyer
Princip: Företag ska publicera tydliga och exakta regler och policyer för när åtgärder ska vidtas gentemot användares innehåll eller konton, på en lättillgänglig och central plats.
Implementering: Användare ska enkelt kunna förstå följande:
- Vilka typer av innehåll som är förbjudna av företaget och kommer att tas bort, med detaljerad vägledning och exempel på tillåtet och otillåtet innehåll.
- Vilka typer av innehåll som företaget kommer att vidta andra åtgärder mot än borttagning, till exempel algoritmisk nedrankning, med detaljerad vägledning och exempel på alla typer av innehåll och åtgärder.
- Under vilka omständigheter företaget kommer att inaktivera en användares konto, vare sig det är permanent eller tillfälligt.
3. Kulturell kompetens
Princip: Kulturell kompetens kräver bland annat att de som fattar beslut om moderering och överklaganden förstår de modererade inläggens språk, kultur och politiska och sociala kontext. Företag ska säkerställa att deras regler och policyer, och upprätthållandet av dem, tar hänsyn till den mångfald av kulturer och kontexter där deras plattformar och tjänster erbjuds och används. De ska också publicera information om hur dessa hänsynstaganden har integrerats i förhållande till alla verksamhetsprinciper. Företag ska säkerställa att processer för rapporter, meddelanden och överklaganden finns på det språk som användaren valt i tjänsten, och att användare inte missgynnas i processer för innehållsmoderering på grund av språk, land eller region.
Implementering: Användare ska ha tillgång till regler och policyer samt mekanismer för meddelanden, överklaganden och rapportering på sitt eget språk, alternativt sin egen språkvariant. Användaren ska också kunna känna förtroende för följande:
- Modereringsbeslut fattas av personer med kunskaper om relevant språk eller språkvariant.
- Modereringsbeslut fattas med tillräcklig medvetenhet om relevant regional eller kulturell kontext.
- Företag ska rapportera uppgifter som visar deras kompetens gällande användares språk, region och kultur, till exempel siffror som visar innehållsmoderatorernas språkliga och geografiska fördelning.
4. Statlig delaktighet i innehållsmoderering
Princip: Företag ska vara medvetna om specifika risker avseende användares rättigheter till följd av statlig delaktighet i processer för innehållsmoderering. Här ingår en stats delaktighet i att ta fram och upprätthålla företagets regler och policyer, antingen för att följa lokal lagstiftning eller för att tillgodose andra statliga intressen. Särskilda betänkligheter uppstår till följd av krav och begäranden från statliga aktörer (inklusive myndighetsorgan, tillsynsmyndigheter, brottsbekämpande organ och domstolar) gällande borttagning av innehåll eller inaktivering av konton.
Implementering: Användare ska informeras om när en statlig aktör har begärt eller varit delaktig i åtgärder gentemot deras innehåll eller konto. Användare ska också informeras om huruvida företaget anser att åtgärderna var nödvändiga enligt gällande lagstiftning. En del företag rapporterar nu statliga krav på innehållsbegränsning enligt lag som en del i sin transparensrapportering, men annan statlig delaktighet rapporteras vare sig offentligt eller till de användare som utsatts för åtgärderna. Företag ska emellertid tydligt rapportera till användare när det förekommer statlig delaktighet i upprätthållandet av företagets regler och policyer.
Mer specifikt ska användare ha tillgång till följande:
- Uppgifter om regler eller policyer vars syfte är att återspegla krav i lokal lagstiftning, oavsett om de tillämpas globalt eller i vissa jurisdiktioner.
- Uppgifter om formella eller informella arbetsrelationer och/eller överenskommelser som företaget har med statliga aktörer gällande flaggning av innehåll eller konton, eller andra åtgärder som vidtas av företaget.
- Uppgifter om processen för utvärdering av innehåll eller konton som flaggas av statliga aktörer, vare sig den utgår från företagets regler och policyer eller lokal lagstiftning.
- Uppgifter om statliga begäranden om åtgärder gentemot inlägg och konton.
5. Integritet och förklaring
Princip: Företag ska säkerställa att deras system för innehållsmoderering, inklusive både automatiserade och icke-automatiserade komponenter, fungerar på ett tillförlitligt och effektivt sätt. Här ingår att eftersträva precision och icke-diskriminering i identifieringsmetoder, att genomgå regelbundna utvärderingar samt att erbjuda mekanismer för meddelanden och överklaganden på ett rättvist sätt. Företag ska aktivt övervaka beslutsfattandets kvalitet för att säkerställa hög tillförlitlighet. De uppmuntras också att lämna ut uppgifter om sina systems precision samt att tillåta regelbunden extern granskning av sina processer och algoritmiska system. Företag ska sträva efter att säkerställa att begäranden om åtgärder är äkta och inte skapats av bots eller samordnade attacker.
Det finns många specifika betänkligheter gällande automatiserade system, och företag bör endast använda sådana när de har förtroende för dem, samt med transparens och ansvarsskyldighet.
Implementering: Användare ska kunna känna förtroende för att beslut om deras innehåll fattas med stor noggrannhet och respekt för mänskliga rättigheter. Användare ska informeras om när beslut om innehållsmoderering har fattats av eller med hjälp av automatiserade verktyg, och ha en god förståelse för logiken för beslutsfattande som används i innehållsrelaterade automatiserade processer. Företag ska också tydligt beskriva vilka kontroller användare har tillgång till och kan använda för att hantera hur deras innehåll sorteras med hjälp av algoritmiska system, samt hur dessa kontroller påverkar en användares onlineupplevelse.
Verksamhetsprinciper
1. Siffror
Sifferprincipen återspeglar vikten av transparens inom innehållsmoderering, både för användare som vill förstå beslut om sina egna yttranden och för samhället i stort. Företag ska rapportera information om hela uppsättningen åtgärder som företaget kan vidta gentemot användares innehåll och konton på grund av överträdelser av företagets regler och policyer, så att användare och forskare kan förstå och känna förtroende för systemen.
Företag ska publicera information om innehållsförekomster och konton som åtgärdats, indelat efter land eller region om tillgängligt, samt regelkategorin för överträdelsen, utifrån följande dimensioner:
- Totalt antal innehållsförekomster som åtgärdats och konton som inaktiverats.
- Antal överklaganden av beslut om att åtgärda innehåll eller inaktivera konton.
- Antal (eller procentandel) godkända överklaganden som ledde till att innehållsförekomster eller konton återställdes, och antal (eller procentandel) avvisade överklaganden.
- Antal (eller procentandel) godkända eller avvisade överklaganden av innehåll som ursprungligen flaggats av automatiserad identifiering.
- Antal inlägg eller konton som proaktivt återställts av företaget, utan överklagande, efter att man funnit att de hade åtgärdats eller inaktiverats på felaktig grund.
- Siffror som visar upprätthållande av policyer om hatiska yttranden, utifrån utsatt grupp eller egenskap där det är uppenbart. Företag ska dock inte samla in uppgifter om utsatta grupper i detta syfte.
- Siffror som rör borttagningar och begränsningar av innehåll under perioder av kris, till exempel covid-19-pandemin och perioder av våldsamma konflikter.
Särskilda rapporteringskrav gäller beslut där statliga aktörer är delaktiga, som ska delas in efter land:
- Antalet krav eller begäranden från statliga aktörer om att innehåll eller konton ska åtgärdas.
- Den statliga aktörens identitet för varje begäran.
- Huruvida innehållet flaggades av ett domstolsbeslut/en domare eller annan typ av statlig aktör.
- Antalet krav eller begäranden från statliga aktörer som åtgärdades och antalet krav eller begäranden som inte ledde till åtgärder.
- Huruvida anledningen till varje flaggning var ett påstått brott mot företagets regler och policyer (och i så fall vilka regler eller policyer) eller mot lokal lagstiftning (och i så fall vilka bestämmelser i lokal lagstiftning), eller båda.
- Huruvida de åtgärder som vidtogs gentemot innehåll var till följd av en överträdelse av företagets regler och policyer eller ett brott mot lokal lagstiftning.
Eftersom det finns särskilda betänkligheter om att flaggningsprocesser kommer att missbrukas ska företag överväga att rapportera uppgifter som gör det möjligt för användare och forskare att utvärdera hur ofta sådant missbruk förekommer och vilka åtgärder ett företag vidtar för att förhindra det. Specifika mätvärden och/eller kvalitativ rapportering kan användas för att identifiera missbruksrelaterade trender inom särskilda regionala kontexter. Företag ska överväga att samla in och rapportera följande, indelat efter land eller region om tillgängligt:
- Det totala antalet flaggningar under en viss tidsperiod.
- Det totala antalet flaggningar som spårats till bots.
- Antalet inlägg och konton som flaggats, både totalt och indelat efter följande:
- Påstådda överträdelser av regler och policyer.
- Flaggningens källa (statliga aktörer, betrodda flaggare, användare, automatisering med flera).
I och med automatiserade processers växande roll inom innehållsmoderering krävs transparens kring användningen av automatiserade verktyg för beslutsfattande för att få en heltäckande förståelse för företags processer och system. Utöver siffrorna om användningen av automatisering som efterfrågas ovan ska företag publicera information som rör följande:
- När och hur automatiserade processer används (antingen fristående eller med mänsklig tillsyn) för åtgärder gällande innehåll.
- Kategorier och typer av innehåll där automatiserade processer används.
- Huvudkriterier som används av automatiserade processer vid beslutsfattande.
- Tillförlitlighet/precision/resultatfrekvens för automatiserade processer, inklusive ändringar över tid och skillnader mellan olika språk och innehållskategorier.
- I vilken utsträckning det förekommer mänsklig tillsyn av automatiserade processer, inklusive användares möjlighet att begära mänsklig granskning av automatiserade beslut om innehållsmoderering.
- Antal (eller procentandel) godkända och avvisade överklaganden när innehållet eller kontot först flaggades av automatiserad identifiering, indelat efter innehållsformat och överträdelsekategori.
- Medverkan i branschöverskridande hash-delningsdatabaser eller andra initiativ och hur företaget hanterar innehåll som flaggas genom sådana initiativ.
Alla uppgifter ska regelbundet samlas i en rapport, lämpligen kvartalsvis, i ett maskinläsbart format med fri licens.
2. Meddelanden
Företag måste meddela alla användare vars innehåll tas bort, vars konto inaktiveras eller när andra åtgärder vidtas på grund av bristande efterlevnad av tjänstens regler och policyer, om anledningen till borttagningen, inaktiveringen eller åtgärden. Eventuella undantag till den här regeln, till exempel när innehållet omfattar spam, nätfiske eller skadlig kod, ska tydligt beskrivas i företagets regler och policyer.
När företag meddelar en användare om varför hens inlägg har åtgärdats ska de säkerställa att meddelandet innehåller följande:
- URL, innehållsutdrag och/eller annan information som är tillräcklig för att kunna identifiera det åtgärdade innehållet.
- Den specifika punkten i riktlinjerna som innehållet ansågs strida mot.
- Hur innehållet identifierades och togs bort (flaggades av andra användare, betrodda flaggare, automatiserad identifiering eller externa rättsliga eller andra klagomål).
- Specifik information om en statlig aktörs delaktighet i att flagga eller beordra åtgärder. Innehåll som flaggas av statliga aktörer ska identifieras som sådant. Dessutom ska den specifika statliga aktören identifieras, såvida det inte är förbjudet enligt lag. Om innehållet påstås strida mot lokal lagstiftning, i motsats till företagets regler eller policyer, ska användarna informeras om relevant bestämmelse i lokal lagstiftning.
Exempel på andra standarder för tillräckliga meddelanden:
- Meddelanden ska skickas inom rimlig tid och ska innehålla en förklaring av processen för att överklaga beslutet, inklusive eventuella tidsbegränsningar och relevanta formföreskrifter.
- Meddelanden ska göras tillgängliga i ett varaktigt format som är möjligt att komma åt även om en användares konto inaktiveras eller avslutas.
- Användare som flaggar innehåll ska erhålla en logg över innehåll som de har rapporterat och resultatet av modereringsprocesser.
- Meddelanden ska vara på samma språk som det ursprungliga inlägget eller på det gränssnittsspråk som användaren valt.
- Meddelanden ska ge användare information om tillgängliga kanaler för användarsupport och hur de får tillgång till dem.
- Om det är lämpligt ska även andra relevanta personer meddelas, inklusive gruppadministratörer och flaggare. Det bör omfatta att publicera ett meddelande på den ursprungliga platsen för innehållet som har tagits bort.
3. Överklagande
Överklagandeprincipen omfattar företagens skyldigheter att göra förklarings-, gransknings- och överklagandeprocesser tillgängliga för användare. Användare ska ha tillräcklig tillgång till supportkanaler som innehåller information om åtgärdsbeslutet och tillgängliga överklagandeprocesser när det initiala åtgärdsbeslutet har fattats. Företag ska erbjuda en meningsfull möjlighet att inom rimlig tid överklaga beslut om att ta bort innehåll, behålla innehåll som har flaggats, inaktivera ett konto eller vidta andra typer av åtgärder som påverkar användares mänskliga rättigheter, inklusive rätten till yttrandefrihet. I enlighet med proportionalitetsprincipen ska företag prioritera att hantera överklaganden gällande de hårdaste begränsningarna, till exempel borttagning av innehåll och inaktivering av konton.
Företag ska säkerställa att överklagandet uppfyller följande kriterier:
- En process som är tydlig och lättillgänglig för användare, med detaljerade uppgifter om tidslinjen och möjlighet att följa förloppet.
- Mänsklig granskning av en person eller panel med personer som inte var delaktiga i det ursprungliga beslutet.
- Personen eller panelen med personer som deltar i granskningen har kunskap om språket och den kulturella kontexten för innehåll som är relevant för överklagandet.
- En möjlighet för användare att presentera ytterligare information för att styrka överklagandet som beaktas vid granskningen.
- Underrättelse om granskningens resultat, samt en tillräckligt detaljerad redogörelse för resonemanget för att användaren ska förstå beslutet.
På längre sikt kan oberoende granskningsprocesser också vara en viktig faktor för att användare ska kunna begära prövning. Om sådana processer finns ska företag ge användare information om tillgång till dem. Företag ska, i den utsträckning de utövar kontroll eller inflytande över oberoende granskningsprocesser, säkerställa att de också följer Santa Clara-principerna, samt att de tillhandahåller regelbunden transparensrapportering, tydlig information till användare om status på deras överklagande och resonemanget bakom alla beslut.
Företag ska överväga om överklagandeprocesser under vissa omständigheter ska påskyndas, till exempel om den berörda användaren kan ha utsatts för en kränkande borttagningskomplott eller om det berörda innehållet är tidskänsligt, till exempel politiskt innehåll under en valrörelse. Om överklagandeprocesser påskyndas ska företag ha tydliga regler och policyer gällande när detta sker och huruvida användare kan begära ett påskyndat överklagande.
Principer för regeringar och andra statliga aktörer
Regeringar har givetvis en skyldighet enligt olika internationella rättsliga instrument, exempelvis artikel 19 i den allmänna förklaringen om de mänskliga rättigheterna, att respektera allas yttrandefrihet. Det innebär att statliga aktörer inte får utnyttja eller manipulera företags system för innehållsmoderering för att censurera oliktänkande, politiska motståndare, sociala rörelser eller någon person.
När det gäller transparens är företags transparens avgörande för att säkerställa förtroende och tillförlitlighet avseende processerna för innehållsmoderering. Stater måste emellertid vara medvetna om och minimera sina roller i att hindra transparens, och måste även vara transparenta gällande sina egna krav på borttagning eller begränsning av innehåll.
1. Eliminera hinder för företags transparens
Regeringar och andra statliga aktörer ska eliminera hinder för transparens (och undvika att införa sådana hinder) som medför att företag inte kan följa ovanstående principer till fullo.
Regeringar och andra statliga aktörer ska säkerställa att företag inte förbjuds att publicera information som beskriver begäranden eller krav från statliga aktörer gällande borttagning eller begränsning av innehåll eller konton. Undantaget är om ett sådant förbud har en tydlig rättslig grund och är ett nödvändigt och proportionerligt sätt att uppfylla ett legitimt ändamål.
2. Främja regeringars transparens
Regeringar och andra statliga aktörer ska själva rapportera om sin delaktighet i beslut gällande innehållsmoderering, inklusive uppgifter om krav eller begäranden om att innehåll ska åtgärdas eller att ett konto ska inaktiveras, indelat utifrån rättslig grund för begäran. Rapporteringen ska omfatta alla statliga aktörer samt, i förekommande fall, innehålla myndigheter under statlig nivå, företrädesvis i en sammanställd rapport.
Regeringar och andra statliga aktörer ska reflektera över hur de kan uppmuntra till lämplig och meningsfull transparens hos företag, i linje med ovanstående principer, genom bestämmelser såväl som andra åtgärder.
Tack
Tack till alla organisationer och personer som har skickat in kommentarer, deltagit i gruppsamråden, samt granskat och kommenterat preliminärt material. Exempel på organisationer som har skickat in kommentarer: 7amleh, Association for Progressive Communications, Centre for Internet & Society, Facebook/Meta, Fundación Acceso, GitHub, Institute for Research on Internet and Society, InternetLab, Laboratório de Políticas Públicas e Internet (LAPIN), Lawyers Hub, Montreal AI Ethics Institute, PEN America, Point of View, Public Knowledge, Taiwan Association for Human Rights, The Dialogue och Usuarios Digitales. Listan med personer och grupper som har planerat och anordnat samråd och på andra sätt bidragit till processen innehåller bland annat: ALT Advisory, Centro de Estudios en Libertad de Expresión y Acceso a la Información (CELE), UNESCO, Irina Raicu, Eduardo Celeste, Derechos Digitales, Robert Gorwa, Ivar A.M. Hartmann, Amélie Heldt, Tomiwa Ilori, Julian Jaursch, Clara Iglesias Keller, Paddy Leerssen, Martin J. Riedl, Christian Strippel och Daphne Keller.
Santa Clara-principerna 2.0 får dessutom stöd från Postkodstiftelsen.
Slutligen vill vi tacka de ursprungliga principernas författare och supportrar: ACLU Foundation of Northern California, Center for Democracy & Technology, Electronic Frontier Foundation, New America’s Open Technology Institute, Irina Raicu, Nicolas Suzor, Sarah Myers West och Sarah T. Roberts, Santa Clara Universitys High Tech Law Institute för att de anordnade konferensen Content Moderation & Removal at Scale, samt Eric Goldman för hans hjälp med att sammankalla till seminariet som resulterade i det här dokumentet. Det seminariet var också möjligt tack vare stöd från Internet Policy Observatory på University of Pennsylvania. Suzor är mottagare av ett DECRA-stipendium från Australian Research Council (projektnummer DE160101542).42).