Chapeau
Im Jahr 2018 hat eine Gruppe von Menschenrechtsorganisationen, Anwälten und akademischen Experten am Rande der Content Moderation at Scale-Konferenzen in den Vereinigten Staaten eine Reihe von drei Grundsätzen entwickelt und veröffentlicht, die zeigen sollen, wie die zunehmend aggressive Moderation von nutzergenerierten Inhalten durch Internetplattformen am besten transparent und nachvollziehbar gestaltet werden kann. Diese Grundsätze sind nach dem dem Ort des ersten Treffens der Gruppe in Santa Clara, Kalifornien, benannt. Sie stellen Empfehlungen für erste Schritte dar, die Unternehmen, die mit der Moderation von Inhalten befasst sind, unternehmen sollten, um den betroffenen Nutzer_innen ein angemessenes Verfahren zu bieten und besser zu gewährleisten, dass die Durchsetzung ihrer Inhaltsrichtlinien fair, unvoreingenommen, verhältnismäßig und unter Wahrung der Rechte der Nutzer_innen erfolgt. Dies war die erste Fassung der Santa Clara-Prinzipien.
Seit 2018 haben zwölf große Unternehmen – darunter Apple, Facebook (Meta), Google, Reddit, Twitter und Github – die Grundsätze von Santa Clara unterzeichnet. Die Gesamtzahl der Unternehmen, die Transparenz und Verfahrensgarantien bieten, ist gestiegen, ebenso wie das Niveau der Transparenz und der Verfahrensgarantien, die von vielen der größten Unternehmen angeboten werden.
Gleichzeitig nimmt die Bedeutung der Rolle, die diese Unternehmen in der Gesellschaft spielen, weiter zu. Dies führt zu einer immer größeren Verantwortung, ein ausreichendes Maß an Transparenz in Bezug auf die von ihnen getroffenen Entscheidungen zu gewährleisten, um eine Rechenschaftspflicht aufrechtzuerhalten.
Aus diesen Gründen hat eine breite Koalition von Organisationen, Befürworter_innen und akademischen Expert_innen in den Jahren 2020 und 2021 zusammengearbeitet, um diese zweite Version der Santa-Clara-Prinzipien zu entwickeln. Sie wurden im Anschluss an eine breit angelegte Konsultation, an der mehr als 50 Organisationen und Einzelpersonen beteiligt waren, und einen gründlichen Prozess der Ausarbeitung und Überprüfung, entwickelt. Durch die Einbeziehung von Erfahrungen und Fachwissen aus allen Teilen der Welt spiegelt diese zweite Fassung der Santa-Clara-Prinzipien die Erwartungen und Bedürfnisse der globalen Gemeinschaft besser wider.
Diese zweite Auflage der Santa Clara-Prinzipien ist in Grundprinzipien und operative Prinzipien unterteilt. Bei den Grundprinzipien handelt es sich um übergreifende und bereichsübergreifende Grundsätze, die von allen Unternehmen, unabhängig von Geschäftsmodell, Alter und Größe, bei der Moderation von Inhalten berücksichtigt werden sollten. Sie beschreiben die einzelnen Grundsätze und geben Anleitungen für die Umsetzung dieser Grundsätze. Die operativen Grundsätze enthalten detailliertere Erwartungen an die größten oder etabliertesten Unternehmen in Bezug auf bestimmte Phasen und Aspekte des Prozesses der Inhaltsmoderation. Kleinere, neuere und weniger gut ausgestattete Unternehmen können die Grundsätze ebenfalls als Orientierungshilfe und als Grundlage für die künftige Einhaltung der Vorschriften nutzen. Im Gegensatz zu den in der ersten Iteration festgelegten Mindeststandards wird in dieser zweiten Iteration genauer festgelegt, welche Informationen erforderlich sind, um eine sinnvolle Transparenz und Rechenschaftspflicht zu gewährleisten.
Diese zweite Fassung der Santa-Clara-Grundsätze erweitert den Umfang dessen, was als „Inhalt“ und „Handlung“ eines Unternehmens gilt, und fordert mehr Transparenz. Der Begriff „Inhalt“ bezieht sich auf alle nutzergenerierten Inhalte, bezahlt oder unbezahlt, in einem Dienst, einschließlich Werbung. Die Begriffe „Maßnahmen“ und „unternommene Maßnahmen“ beziehen sich auf jede Form von Durchsetzungsmaßnahmen, die ein Unternehmen in Bezug auf den Inhalt oder das Konto der Nutzer*innen aufgrund der Nichteinhaltung der Regeln und Richtlinien ergreift, einschließlich (aber nicht beschränkt auf) die Entfernung von Inhalten, die algorithmische Herabstufung von Inhalten und die (vorübergehende oder dauerhafte) Sperrung von Konten.
Diese zweite Auflage der Santa Clara Prinzipien wurde entwickelt, um Unternehmen dabei zu unterstützen, ihrer Verantwortung für die Achtung der Menschenrechte nachzukommen und ihre Rechenschaftspflicht zu stärken, und um Menschenrechtsverteidiger*innen bei ihrer Arbeit zu unterstützen. Sie sind nicht dazu gedacht, eine Vorlage für eine Regulierung zu liefern.
Die Autoren:
Grundlegende Prinzipien
1. Menschenrechte und ordnungsgemäße Verfahren
Grundsatz: Unternehmen stellen sicher, dass Menschenrechts- und Verfahrenserwägungen in allen Phasen des Prozesses der Inhaltsmoderation berücksichtigt werden. Sie sollten Informationen darüber veröffentlichen, wie dieser Prozess abläuft. Die Unternehmen sollten nur dann automatisierte Verfahren zur Identifizierung oder Entfernung von Inhalten oder zur Sperrung von Konten einsetzen – unabhängig davon, ob sie durch eine menschliche Überprüfung ergänzt werden oder nicht – wenn ein ausreichend hohes Vertrauen in die Qualität und Genauigkeit dieser Verfahren besteht. Die Unternehmen sollten den Nutzer*innen auch klare und zugängliche Methoden zur Verfügung stellen, um im Falle von Inhalts- und Kontenaktionen Unterstützung zu erhalten.
Umsetzung: Nutzer*innen sollten Gewissheit haben, dass die Menschenrechte und ein ordnungsgemäßes Verfahren in allen Phasen des Prozesses der Inhaltsmoderation berücksichtigt werden, indem sie unter anderem darüber informiert werden:
- Wie das Unternehmen die Menschenrechte – insbesondere das Recht auf freie Meinungsäußerung und das Recht auf Nichtdiskriminierung – bei der Entwicklung seiner Regeln und Strategien berücksichtigt hat;
- Wie das Unternehmen die Bedeutung eines ordnungsgemäßen Verfahrens bei der Durchsetzung seiner Regeln und Richtlinien berücksichtigt hat, und insbesondere, wie das Verfahren integer ist und fair gehandhabt wird; und
- Inwieweit das Unternehmen bei der Moderation von Inhalten automatisierte Verfahren einsetzt und wie das Unternehmen dabei die Menschenrechte berücksichtigt hat.
2. Verständliche Regeln und Richtlinien
Grundsatz: Unternehmen sollten an einer leicht zugänglichen und zentralen Stelle klare und präzise Regeln und Richtlinien darüber veröffentlichen, wann Maßnahmen in Bezug auf die Inhalte oder Konten der Nutzer*innen ergriffen werden.
Umsetzung: Benutzer*innen sollten in der Lage sein, das Folgende leicht zu verstehen:
- Welche Arten von Inhalten vom Unternehmen verboten sind und entfernt werden, mit detaillierten Leitlinien und Beispielen für zulässige und unzulässige Inhalte;
- gegen welche Arten von Inhalten das Unternehmen andere Maßnahmen als die Entfernung ergreift, z. B. die Herabstufung durch den Algorithmus, mit detaillierten Anleitungen und Beispielen für jede Art von Inhalten und Maßnahmen; und
- Die Umstände, unter denen das Unternehmen das Konto eine_r_s Nutzers*in dauerhaft oder vorübergehend sperrt.
3. Kulturelle Kompetenz
Der Grundsatz: Kulturelle Kompetenz setzt unter anderem voraus, dass diejenigen, die Moderations- und Beschwerdeentscheidungen treffen, die Sprache, die Kultur sowie den politischen und sozialen Kontext der Beiträge verstehen, die sie moderieren. Die Unternehmen sollten sicherstellen, dass ihre Regeln und Richtlinien sowie deren Durchsetzung die Vielfalt der Kulturen und Kontexte berücksichtigen, in denen ihre Plattformen und Dienste verfügbar sind und genutzt werden. Sie sollten Informationen darüber veröffentlichen, wie diese Überlegungen in Bezug auf alle operativen Grundsätze integriert wurden. Die Unternehmen sollten sicherstellen, dass Berichte, Hinweise und Beschwerdeverfahren in der Sprache verfügbar sind, in der Nutzer_innen mit dem Dienst interagieren. Nutzer_innen sollten bei der Moderation von Inhalten nicht aufgrund von Sprache, Land oder Region benachteiligt werden.
Umsetzung: Nutzer_innen sollten Zugang zu Regeln und Richtlinien sowie zu Bekanntmachungs-, Beschwerde- und Meldemechanismen haben, die in der Sprache oder dem Dialekt abgefasst sind, den sie bevorzugen. Nutzer_innen sollten auch darauf vertrauen können, dass:
- Die Moderationsentscheidungen von Personen getroffen werden, die mit der jeweiligen Sprache oder dem jeweiligen Dialekt vertraut sind;
- Moderationsentscheidungen mit ausreichendem Bewusstsein für alle relevanten regionalen oder kulturellen Zusammenhänge getroffen werden; und
- Die Unternehmen melden Daten, die ihre sprachliche, regionale und kulturelle Kompetenz für die von ihnen betreuten Nutzer_innen belegen, z. B. Zahlen, die die sprachliche und geografische Verteilung ihrer Inhaltsmoderator_innen zeigen.
4. Staatliche Beteiligung an der Moderation von Inhalten
Der Grundsatz: Die Unternehmen sollten sich der besonderen Risiken für die Rechte der Nutzer*innen bewusst sein, die sich aus der staatlichen Beteiligung an der Moderation von Inhalten ergeben. Dies schließt die Beteiligung eines Staates an der Entwicklung und Durchsetzung der Regeln und Richtlinien des Unternehmens ein, entweder um die lokalen Gesetze einzuhalten oder um anderen staatlichen Interessen zu dienen. Besonders bedenklich sind Forderungen und Anträge von staatlichen Akteuren (einschließlich Regierungsstellen, Regulierungsbehörden, Strafverfolgungsbehörden und Gerichten) auf die Entfernung von Inhalten oder die Sperrung von Konten.
Umsetzung: Nutzer_innen sollten wissen, wenn ein staatlicher Akteur eine Maßnahme in Bezug auf ihre Inhalte oder ihr Konto beantragt oder daran teilgenommen hat. Nutzer_innen sollten auch wissen, ob das Unternehmen der Ansicht ist, dass die Maßnahmen durch einschlägige Gesetze vorgeschrieben waren. Während einige Unternehmen inzwischen im Rahmen ihrer Transparenzberichterstattung staatliche Aufforderungen zur Einschränkung von Inhalten melden, werden andere staatliche Eingriffe weder öffentlich noch den betroffenen Nutzer*innen mitgeteilt. Die Unternehmen sollten den betroffenen Personen jedoch klar mitteilen, wenn der Staat bei der Durchsetzung der Regeln und Richtlinien des Unternehmens tätig wird.
Insbesondere sollten Nutzer*innen Zugang zu folgenden Informationen erhalten:
- Einzelheiten zu allen Gesetzen oder politischen Maßnahmen, die weltweit oder in bestimmten Ländern gelten, und die die Anforderungen der lokalen Gesetze widerspiegeln.
- Einzelheiten zu allen formellen oder informellen Arbeitsbeziehungen und/oder Vereinbarungen, die das Unternehmen mit staatlichen Akteuren hat, wenn es um die Kennzeichnung von Inhalten oder Konten oder andere Maßnahmen des Unternehmens geht.
- Einzelheiten zu dem Verfahren, mit dem Inhalte oder Konten, die von staatlichen Akteuren gekennzeichnet wurden, bewertet werden, sei es auf der Grundlage der Regeln oder Richtlinien des Unternehmens oder lokaler Gesetze.
- Einzelheiten zu staatlichen Anträgen auf Maßnahmen für Stellen und Konten.
5. Integrität und Nachvollziehbarkeit
Grundsatz: Unternehmen sollten sicherstellen, dass ihre Systeme zur Moderation von Inhalten, einschließlich automatisierter und nicht automatisierter Komponenten, zuverlässig und effektiv funktionieren. Dazu gehört das Streben nach Genauigkeit und Nichtdiskriminierung bei den Erkennungsmethoden, die Durchführung regelmäßiger Bewertungen und die Bereitstellung gerechter Benachrichtigungs- und Einspruchsmechanismen. Die Unternehmen sollten die Qualität ihrer Entscheidungsfindung aktiv überwachen, um ein hohes Maß an Vertrauen zu gewährleisten. Sie werden aufgefordert, Daten über die Genauigkeit ihrer Systeme öffentlich zugänglich zu machen und ihre Verfahren und algorithmischen Systeme für regelmäßige externe Prüfungen zu öffnen. Die Unternehmen sollten sicherstellen, dass die Bearbeitung von Anträgen authentisch und nicht das Ergebnis von Bots oder koordinierten Angriffen ist.
Es gibt viele spezifische Bedenken gegenüber automatisierten Systemen, und Unternehmen sollten sie nur dann einsetzen, wenn sie Vertrauen in sie haben, und zwar auf transparente und verantwortliche Weise.
Umsetzung: Nutzer_innen sollten darauf vertrauen können, dass Entscheidungen über ihre Inhalte mit großer Sorgfalt und unter Wahrung der Menschenrechte getroffen werden. Nutzer_innen sollten wissen, wann Entscheidungen über die Moderation von Inhalten durch automatisierte Werkzeuge getroffen oder unterstützt wurden, und sie sollten ein umfassendes Verständnis der Entscheidungslogik haben, die bei inhaltsbezogenen automatisierten Prozessen angewandt wird. Unternehmen sollten auch klar darlegen, welche Kontrollmöglichkeiten Nutzer_innen haben, um zu steuern, wie ihre Inhalte durch algorithmische Systeme kuratiert werden, und welche Auswirkungen diese Kontrollen auf das Online-Erlebnis der Nutzer_innen haben.
Operative Grundsätze
1. Zahlen
Der Grundsatz der Zahlen spiegelt die Bedeutung der Transparenz bei der Inhaltsmoderation wider, sowohl für Nutzer_innen, die Entscheidungen über ihre eigenen Äußerungen nachvollziehen wollen, als auch für die Gesellschaft im Allgemeinen. Unternehmen sollten Informationen veröffentlichen, die die gesamte Palette der Maßnahmen widerspiegeln, die das Unternehmen aufgrund von Verstößen gegen die Unternehmensregeln und -richtlinien gegen Nutzerinhalte und -konten ergreifen kann, damit Nutzer_innen und Forscher*innen die bestehenden Systeme verstehen und ihnen vertrauen können.
Die Unternehmen sollten Informationen über Inhalte und Konten, gegen die Maßnahmen ergriffen wurden, aufgeschlüsselt nach Ländern oder Regionen (sofern verfügbar) und nach der Kategorie der verletzten Regel, in jedem der folgenden Bereiche veröffentlichen:
- Gesamtzahl der bearbeiteten Inhalte und gesperrten Konten.
- Anzahl der Einsprüche gegen Entscheidungen über die Einstellung von Inhalten oder die Sperrung von Konten.
- Anzahl (oder Prozentsatz) der erfolgreichen Einsprüche, die dazu führten, dass Inhalte oder Konten wiederhergestellt wurden, und die Anzahl (oder der Prozentsatz) der erfolglosen Einsprüche und;
- Anzahl (oder Prozentsatz) der erfolgreichen oder erfolglosen Einsprüche gegen Inhalte, die ursprünglich durch die automatische Erkennung gekennzeichnet wurden.
- Anzahl der Inhalte oder Konten, die vom Unternehmen proaktiv und ohne Einspruch wiederhergestellt wurden, nachdem festgestellt wurde, dass sie fälschlicherweise eingezogen oder ausgesetzt worden waren.
- Zahlen, die die Durchsetzung von Maßnahmen gegen Hassreden widerspiegeln, aufgeschlüsselt nach Zielgruppen oder Merkmalen, sofern ersichtlich, obwohl Unternehmen zu diesem Zweck keine Daten über Zielgruppen sammeln sollten
- Die Zahlen beziehen sich auf das Löschen von Inhalten und Einschränkungen in Krisenzeiten, wie z. B. während der COVID-19-Pandemie und in Zeiten gewaltsamer Konflikte.
Für Entscheidungen, die unter Beteiligung staatlicher Akteure getroffen werden, gelten besondere Berichtspflichten, die nach Ländern aufgeschlüsselt werden sollten:
- Anzahl der von staatlichen Akteuren gestellten Forderungen oder Anträge auf Bearbeitung von Inhalten oder Konten
- Die Identität des staatlichen Akteurs für jede Anfrage
- Ob der Inhalt durch einen Gerichtsbeschluss/Richter oder eine andere Art von staatlichem Akteur gekennzeichnet wurde
- Anzahl der von staatlichen Akteuren gestellten Forderungen oder Ersuche, denen nachgekommen wurde, und Anzahl der Forderungen oder Ersuche, denen nicht nachgekommen wurde.
- ob der Grund für die einzelnen gekennzeichneten Inhalte ein angeblicher Verstoß gegen die Regeln und Richtlinien des Unternehmens (und wenn ja, welche Regeln oder Richtlinien) oder gegen örtliche Gesetze (und wenn ja, welche Bestimmungen der örtlichen Gesetze) oder beides war.
- Ob die gegen den Inhalt ergriffenen Maßnahmen auf einem Verstoß gegen die Regeln und Richtlinien des Unternehmens oder auf einem Verstoß gegen das örtliche Recht beruhen.
Da die Befürchtung besteht, dass Kennzeichnungsverfahren missbraucht werden, sollten die Unternehmen die Meldung von Daten in Erwägung ziehen, die es nutzenden Personen und Forschenden ermöglichen, die Häufigkeit eines solchen Missbrauchs und die Maßnahmen, die ein Unternehmen zu dessen Verhinderung ergreift, zu bewerten. Spezifische Kriterien und/oder qualitative Berichte könnten entwickelt werden, um missbrauchsbezogene Trends in bestimmten regionalen Kontexten zu erkennen. Die Unternehmen sollten in Erwägung ziehen, die folgenden Daten zu sammeln und zu melden, aufgeschlüsselt nach Ländern oder Regionen, falls verfügbar:
- Die Gesamtzahl der innerhalb eines bestimmten Zeitraums eingegangenen Meldungen.
- Die Gesamtzahl der Meldungen, die auf Bots zurückgeführt werden.
- Die Anzahl der gemeldeten Beiträge und Konten insgesamt und aufgeschlüsselt nach
- Mutmaßlicher Verstoß gegen Regeln und Richtlinien
- Quelle der Meldung (staatliche Akteure, vertrauenswürdige Melder, Benutzer, Automatisierung usw.)
Da automatisierte Prozesse bei der Moderation von Inhalten eine immer größere Rolle spielen, ist für ein umfassendes Verständnis der Prozesse und Systeme der Unternehmen Transparenz über die Verwendung automatisierter Entscheidungsfindungsinstrumente erforderlich. Zusätzlich zu den oben geforderten Zahlen über den Einsatz von Automatisierung sollten die Unternehmen Informationen über folgende Punkte veröffentlichen:
- Wann und wie automatisierte Prozesse (allein oder unter menschlicher Aufsicht) bei der Bearbeitung von Inhalten eingesetzt werden.
- Die Kategorien und Arten von Inhalten, bei denen automatisierte Verfahren eingesetzt werden;
- Die wichtigsten Kriterien, die von automatisierten Prozessen für die Entscheidungsfindung verwendet werden;
- Die Zuverlässigkeit/Genauigkeit/Erfolgsraten automatisierter Prozesse, einschließlich Veränderungen im Laufe der Zeit und Unterschiede zwischen Sprachen und Inhaltskategorien;
- das Ausmaß, in dem automatisierte Prozesse von Menschen überwacht werden, einschließlich der Möglichkeit für die Nutzer*innen, eine menschliche Überprüfung von automatisierten Entscheidungen zur Inhaltsmoderation zu verlangen;
- Die Anzahl (oder der Prozentsatz) der erfolgreichen und erfolglosen Einsprüche, als der Inhalt oder das Konto zum ersten Mal durch die automatische Erkennung gekennzeichnet wurde, aufgeschlüsselt nach Inhaltsformat und Kategorie des Verstoßes;
- Teilnahme an branchenübergreifenden Hash-Sharing-Datenbanken oder anderen Initiativen und die Art und Weise, wie das Unternehmen auf Inhalte reagiert, die im Rahmen solcher Initiativen gemeldet werden.
Alle Daten sollten in einem regelmäßigen Bericht, idealerweise vierteljährlich, in einem offen lizenzierten, maschinenlesbaren Format bereitgestellt werden.
2. Hinweise
Die Unternehmen müssen allen Nutzer*innen, deren Inhalte entfernt werden, oder Konten gesperrt werden, oder wenn eine andere Maßnahme aufgrund der Nichteinhaltung der Regeln und Richtlinien des Dienstes ergriffen wird, über den Grund für die Entfernung, Sperrung oder Maßnahme informieren. Alle Ausnahmen von dieser Regel, z. B. wenn es sich bei den Inhalten um Spam, Phishing oder Malware handelt, sollten in den Regeln und Richtlinien des Unternehmens klar dargelegt werden.
Wenn Nutzende darüber informiert werden, warum ein Beitrag gelöscht wurde, sollten die Unternehmen sicherstellen, dass diese Mitteilung Folgendes enthält:
- URL, Inhaltsauszug und/oder andere Informationen, die ausreichen, um die Identifizierung des bearbeiteten Inhalts zu ermöglichen.
- Die spezifische Klausel der Leitlinien, gegen die der Inhalt verstoßen hat.
- Wie der Inhalt entdeckt und entfernt wurde (Meldung durch andere Nutzer*innen, vertrauenswürdige Melder, automatische Erkennung oder externe rechtliche oder andere Beschwerden).
- Spezifische Informationen über die Beteiligung eines staatlichen Akteurs an der Meldung oder der Anordnung von Maßnahmen. Inhalte, die von staatlichen Akteuren gekennzeichnet wurden, sollten als solche gekennzeichnet und der jeweilige staatliche Akteur identifiziert werden, sofern dies nicht gesetzlich verboten ist. Wenn der Inhalt angeblich gegen lokales Recht verstößt, im Gegensatz zu den Regeln oder Richtlinien des Unternehmens, sollten die Nutzer*innen über die entsprechende Bestimmung des lokalen Rechts informiert werden.
Weitere Standards für eine angemessene Benachrichtigung sind:
- Die Mitteilungen sollten rechtzeitig erfolgen und eine Erläuterung des Verfahrens enthalten, mit dem Nutzer*innen Entscheidungen anfechten können, einschließlich etwaiger Fristen oder einschlägiger Verfahrensvorschriften.
- Die Bekanntmachungen sollten in einer dauerhaften Form vorliegen, die auch dann zugänglich ist, wenn Nutzerkonten gesperrt oder gekündigt werden.
- Nutzer*innen, die Inhalte melden, sollte ein Protokoll der von ihnen gemeldeten Inhalte und der Ergebnisse der Moderationsprozesse vorgelegt werden.
- Hinweise sollten in der Sprache des ursprünglichen Beitrags oder in den von den Nutzer*innen gewählten Sprache der Benutzeroberfläche abgefasst sein.
- In den Hinweisen sollten die Nutzer*innen über die verfügbaren Kanäle für die Nutzerunterstützung und den Zugang zu diesen informiert werden.
- Gegebenenfalls sollten auch andere relevante Personen, einschließlich Gruppenadministratoren und Personen, die die Inhalte gemeldet haben, benachrichtigt werden. Dazu gehört auch ein Hinweis, der an der ursprünglichen Stelle des entfernten Inhalts angebracht wird.
3. Einspruchverfahren
Der Grundsatz des Einspruchs umfasst die Verpflichtung der Unternehmen, den Nutzer_innen Erklärungs-, Überprüfungs- und Einspruchverfahren zur Verfügung zu stellen. Nutzer_innen sollten in der Lage sein, in ausreichendem Maße auf Unterstützung zurückzugreifen. Unternehmen sollten Informationen über Durchführungsbefehle und die verfügbaren Einspruchsverfahren liefern, sobald die erste Entscheidung über die Durchführung getroffen wurde. Die Unternehmen sollten eine sinnvolle Möglichkeit zur rechtzeitigen Anfechtung von Entscheidungen über die Entfernung von Inhalten, die Aufrechterhaltung von gekennzeichneten Inhalten, die Sperrung eines Kontos oder andere Maßnahmen bieten, die die Menschenrechte der Nutzer*innen – einschließlich des Rechts auf freie Meinungsäußerung – betreffen. Nach dem Grundsatz der Verhältnismäßigkeit sollten die Unternehmen vorrangig Rechtsmittel für die schwerwiegendsten Beschränkungen, wie die Entfernung von Inhalten und die Sperrung von Konten, anbieten.
Die Unternehmen sollten darauf achten, dass die Berufung folgende Punkte enthält:
- Ein Verfahren, das für Nutzer_innen klar und leicht zugänglich ist, mit Details zum Zeitplan, die den Nutzer_innen zur Verfügung gestellt werden, und der Möglichkeit, ihre Fortschritte zu verfolgen.
- Menschliche Überprüfung durch eine Person oder ein Gremium von Personen, die nicht an der ursprünglichen Entscheidung beteiligt waren.
- Die Person oder das Gremium von Personen, die an der Überprüfung teilnehmen, müssen mit der Sprache und dem kulturellen Kontext des für die Beschwerde relevanten Inhalts vertraut sein.
- Nutzer*innen haben die Möglichkeit, zusätzliche Informationen zur Begründung ihres Widerspruchs vorzulegen, die bei der Überprüfung berücksichtigt werden.
- Mitteilung der Ergebnisse der Überprüfung und eine ausreichende Begründung, die es ermöglicht, die Entscheidung zu verstehen.
Langfristig können auch unabhängige Überprüfungsverfahren eine wichtige Komponente sein, damit Nutzer_innen ihre Rechte durchsetzen können. Wo es solche Verfahren gibt, sollten die Unternehmen die Nutzer_innen über den Zugang zu diesen Verfahren informieren. Die Unternehmen sollten sicherstellen, dass sie in dem Maße, in dem sie Kontrolle oder Einfluss auf unabhängige Überprüfungsverfahren ausüben, auch die Santa-Clara-Prinzipien einbeziehen und dass sie den Nutzer*innen regelmäßige Transparenzberichte, klare Informationen über den Status ihres Einspruchs und die Gründe für jede Entscheidung liefern.
Die Unternehmen sollten prüfen, ob unter bestimmten Umständen die Einspruchverfahren beschleunigt werden sollten, z. B. wenn betroffene Nutzer*innen Ziel eines missbräuchlichen Verfahrens ist oder wenn die betroffenen Inhalte zeitkritisch sind, wie z. B. politische Inhalte während einer Wahlperiode. Wenn Einspruchverfahren beschleunigt werden, sollten die Unternehmen klare Regeln und Richtlinien dafür aufstellen, wann dies geschieht und ob nutzende Personen ein beschleunigtes Verfahren beantragen können.
Grundsätze für Regierungen und andere staatliche Akteure
Regierungen sind natürlich aufgrund verschiedener internationaler Rechtsinstrumente, z. B. Artikel 19 der Allgemeinen Erklärung der Menschenrechte, verpflichtet, das Recht auf freie Meinungsäußerung aller Menschen zu achten. Folglich dürfen staatliche Akteure die Inhaltsmoderationssysteme von Unternehmen nicht ausnutzen oder manipulieren, um Andersdenkende, politische Gegner, soziale Bewegungen oder andere Personen zu zensieren.
Was die Transparenz betrifft, so ist die Transparenz der Unternehmen ein entscheidendes Element, um das Vertrauen in die Prozesse der Inhaltsmoderation zu gewährleisten. Die Staaten müssen jedoch ihre Rolle bei der Einschränkung von Transparenz erkennen und minimieren und müssen auch Transparenz über ihre eigenen Forderungen nach Entfernung oder Einschränkung von Inhalten herstellen.
1. Beseitigung von Hindernissen für die Unternehmenstransparenz
Regierungen und andere staatliche Akteure sollten die Hindernisse für die Transparenz beseitigen (und von der Einführung solcher Hindernisse absehen), die die Unternehmen daran hindern, die oben genannten Grundsätze vollständig einzuhalten.
Regierungen und andere staatliche Akteure sollten sicherstellen, dass es Unternehmen nicht untersagt ist, Informationen über Anfragen oder Forderungen nach der Löschung von Inhalten oder Konten zu veröffentlichen, die von staatlichen Akteuren stammen. Einzige mögliche Ausnahme ist, wenn ein solches Verbot auf einer klaren rechtlichen Grundlage erfolgt, und ein notwendiges und verhältnismäßiges Mittel zur Erreichung eines legitimen Ziels darstellt.
2. Förderung der Transparenz der Regierung
Regierungen und andere staatliche Akteure sollten selbst über ihre Beteiligung an Entscheidungen über die Mäßigung von Inhalten berichten. Dies schließt Daten zu Forderungen oder Anträgen ein, bei denen es um die Bearbeitung von Inhalten oder der Sperre eines Kontos geht. Die Daten sollten aufgeschlüsselt nach der Rechtsgrundlage für den Antrag vorliegen. Die Berichterstattung sollte alle staatlichen Akteure berücksichtigen und gegebenenfalls auch subnationale Stellen einbeziehen, vorzugsweise in einem konsolidierten Bericht.
Regierungen und andere staatliche Akteure sollten prüfen, wie sie im Einklang mit den oben genannten Grundsätzen eine angemessene und aussagekräftige Transparenz von Unternehmen fördern können, auch durch regulatorische und nicht-regulatorische Maßnahmen.
Danksagung
Wir bedanken uns bei allen Organisationen und Einzelpersonen, die Kommentare eingereicht, an den Gruppenberatungen teilgenommen und die Vorarbeiten geprüft und kommentiert haben. Zu den Organisationen, die Kommentare einreichten, gehören die folgenden: 7amleh, Association for Progressive Communications, Centre for Internet & Society, Facebook/Meta, Fundación Acceso, GitHub, Institute for Research on Internet and Society, InternetLab, Laboratório de Políticas Públicas e Internet (LAPIN), Lawyers Hub, Montreal AI Ethics Institute, PEN America, Point of View, Public Knowledge, Taiwan Association for Human Rights, The Dialogue, Usuarios Digitales. Wir bedanken uns außerdem bei folgenden Einzelpersonen und Gruppen, die den Prozess koordiniert haben und die Konsultationen durchgeführt haben, beziehungsweise anderweitig zu dieser Arbeit beigetragen haben: ALT Advisory, Centro de Estudios en Libertad de Expresión y Acceso a la Información (CELE), UNESCO, Irina Raicu, Eduardo Celeste, Derechos Digitales, Robert Gorwa, Ivar A.M. Hartmann, Amélie Heldt, Tomiwa Ilori, Julian Jaursch, Clara Iglesias Keller, Paddy Leerssen, Martin J. Riedl, Christian Strippel und Daphne Keller. Wir bedanken uns außerdem bei allen weiteren Personen, die hier nicht aufgeführt sind, jedoch trotzdem zu dem Prozess beigetragen haben.
Die Santa Clara-Prinzipien 2.0 werden zusätzlich von der schwedischen Postcode-Stiftung unterstützt.
Schließlich möchten wir den Autor_innen und Unterstützer_innen der ursprünglichen Grundsätze danken: ACLU Foundation of Northern California, Center for Democracy & Technology, Electronic Frontier Foundation, New America’s Open Technology Institute, Irina Raicu, Nicolas Suzor, Sarah Myers West und Sarah T. Roberts; dem High Tech Law Institute der Santa Clara University für die Organisation der Konferenz Content Moderation & Removal at Scale sowie Eric Goldman für die Unterstützung bei der Organisation des Workshops, der zu diesem Dokument führte. Dieser Workshop wurde auch durch die Unterstützung des Internet Policy Observatory an der University of Pennsylvania ermöglicht. Suzor ist Empfänger eines DECRA-Stipendiums des Australischen Forschungsrats (Projektnummer DE160101542).