Chapeau
En 2018, en marge des conférences pour la Content Moderation at Scale aux États-Unis, un groupe d’organisations des droits humains, militants et experts académiques ont développé et lancé un ensemble de trois principes pour savoir comment mieux obtenir la transparence et redevabilité à propos des croissantes modérations agressives du contenu généré par les utilisateurs sur les plateformes digitales. Ces principes, nommés d’après l’endroit de la rencontre initiale à Santa Clara en Californie, fournissent des recommandations pour des premiers pas à prendre par des entreprises relatives à la modération de contenu pour fournir une procédure due et significative pour les intervenants concernés et mieux garantir que l’applications de leurs règles en matière de contenus et juste, impartiale, proportionnée et respectueuse des droits des utilisateurs. Celle-ci fut la première iteration des Principes de Santa Clara.
Depuis 2018, douze grandes entreprises -y compris Apple, Facebook (Meta), Google, Reddit, Twitter, et Github- ont souscrit les Principes de Santa Clara et le nombre total d’entreprises qui fournissent de transparence et garanties de procédure a augmenté, tel que le niveau de transparence et garantie procédurale fournies par plusieurs des plus grandes entreprises.
En même temps, l’importance du rôle que ces entreprises ont dans la société continue à croitre, ce qui donne comme résultat une responsabilité encore plus grande de fournir les niveaux suffisants de transparence sur les décisions qu’elles prennent, afin de permettre la redevabilité.
Pour ces raisons, une large coalition d’organisations, militants et experts académiques ont travaillé ensemble en 2020 et 2021 pour développer cette seconde itération des Principes de Santa Clara. Ils ont été développés en suivant un large exercice de consultation avec plus de 50 organisations et individus, et un processus minutieux de rédaction et de révision. Grâce aux expériences et expertise de toutes les parties du monde, cette seconde itération des Principes de Santa Clara reflète mieux les attentes et besoins de la communauté globale.
Cette seconde itération des Principes de Santa Clara est divisée en Principes Fondamentaux et Opératifs. Les Principes Fondamentaux son des principes primordiaux et transversaux qui doivent être pris en compte par toutes les entreprises de n’importe quel modèle d’entreprise, âge et dimension, s’ils ont relatifs à la modération de contenu. Ils énoncent chaque principe et guide de comment mettre en œuvre ces principes. Les Principes Opératifs énoncent des attentes plus granulaires pour les entreprises les plus larges et développées à propos des aspects et étapes spécifiques pour le processus de modération de contenu. Les entreprises les plus petites, nouvelles et avec moins de ressources doivent aussi utiliser les Principes Opératifs comme guide et pour se plier à sa conformité au futur. En contraste avec les normes minimales énoncées sur la première itération, cette seconde itération fournit une spécificité plus grande concernant précisément pour quelles informations il est nécessaire d’assurer une transparence significative et de la redevabilité.
Cette seconde itération des Principes de Santa Clara élargi le champ sur lequel la transparence est requise par rapport à ce qui est considéré « contenu » et « action » prises par une entreprise. Le terme « contenu » réfère à tout contenu généré par les utilisateurs, payant ou non-payant, dans un service, y compris publicité. Les termes « action » et « mesure » réfèrent à toute forme d’action coercitive prise par une entreprise par rapport au contenu d’un utilisateur ou un compte due à une non-conformité avec leur règles et politiques, y compris (mais ne pas limité à) la suppression du contenu, downranking algorithmique du contenu, et la suspension (soit permanente ou temporelle) des comptes.
Cette seconde itération des Principes de Santa Clara a été développée pour soutenir les entreprises à respecter leurs responsabilités envers les droits humains et améliorer leur redevabilité, et pour soutenir les défenseurs des droits humains dans son travail. Elles ne sont pas proposées comme un modèle de régulation.
Auteurs ::
Principes Fondamentaux
1. Droits Humains et Procédure Réglementaire
Principe : Les entreprises doivent garantir que les droits humains et les considérations pour une procédure due sont intégrées à toutes les étapes du processus de modération de contenu, et l’information soulignant le mode dont cette intégration est réalisée. Les entreprises doivent seulement utiliser des processus automatisés pour identifier ou retirer du contenu ou des comptes, si elles se complète par des évaluations humaines ou pas, quand il y a un degré suffisamment élevé de confiance en la qualité et précision de ces procès. Les entreprises doivent aussi fournir aux utilisateurs des méthodes clairs et accessibles d’obtenir de l’aide au cas d’une mesure sur un contenu ou un compte.
Mise en place : les utilisateurs doivent être assurés que les droits humains et considérations d’une procédure due sont intégrés à toutes les étapes du processus de modération de contenu, y compris être informé de :
· Comment l’entreprise a considéré les droits humains -particulièrement les droits de liberté d’expression et de non-discrimination- au développement de ses règles et politiques ;
· Comment l’entreprise a considéré l’importance d’une procédure due en appliquant ses règles et politiques, et en particulier comment le processus fait preuve d’intégrité et est administré équitablement ;
· L’ampleur dont laquelle l’entreprise use des processus automatisés pour la modération de contenu et comment l’entreprise a considéré les droits humains dans cet usage.
2. Règles et politiques compréhensibles
Principe : Les compagnies doivent publier des règles et politiques claires et précises relatives aux actions quand elles sont prises par rapport au contenu ou compte d’utilisateurs, dans une location facilement accessible et centrale.
Mise en place : les utilisateurs doivent être capables de comprendre vite les points suivants :
· Quel type de contenu est interdit par l’entreprise et sera supprimé, avec un guide détaillé et exemples de contenu permis et non-permis ;
· Sur quel type de contenu l’entreprise prendra action en contre à part de la suppression, comme le downranking algorithmique, avec un guide détaillé et exemples de types de contenu et actions ; et
· Les circonstances sous lesquelles l’entreprise suspendra un compte d’utilisateur, soit définitivement ou temporellement.
3. Compétence Culturelle
Principe : La compétence culturelle exige, entre autres choses, que ceux qui réalisent la modération et appels des décisions comprennent la langue, culture et le contexte politique et sociale des publications qu’ils sont en train de modérer. Les entreprises garantir que les règles et politiques, et leur application, prennent en considération la diversité des cultures et contextes dans lesquels ces plateformes et services sont disponibles et utilisées, et doivent publier des informations sur comment ces considérations sont intégrées en relation aux Principes opératifs. Les entreprises doivent garantir que les rapports, notifications et procédures d’appel soient disponibles dans la langue que les utilisateurs ne soient pas défavorisés durant les processus de modération basés en la langue, pays, ou région.
Mise en place : Les utilisateurs doivent avoir accès aux règles et politiques, et aux notifications, appels et mécanismes de signalement dans la langue ou dialecte qu’ils emploient. Les utilisateurs doivent aussi être sûrs que :
· Les décisions de modération sont menées par ceux qui sont familiers avec leur langage ou dialecte ;
· Les décisions de modération sont menées avec une adéquate prise de conscience sur tout contexte culturel ou régional pertinent ;
· Les entreprises vont rapporter des données qui divulguent leur compétences linguistiques, régionales et culturelles envers les utilisateurs qu’ils servent, et des pourcentages qui démontrent la distribution linguistique et géographique de leurs modérateurs de contenus.
4. Intervention de l’État dans la modération de contenus
Principe : Les entreprises doivent reconnaitre les risques particuliers pour les droits des utilisateurs comme résultat d’une intervention de l’État sur les processus de modération de contenu. Cela comprend une intervention de l’État sur le développement et exécution des règles et politiques des entreprises, soit en respect de lois locales ou pour servir à un autre intérêt de l’État. Des intérêts particuliers sont soulevés par demandes et exigences des acteurs étatiques (y compris les organismes gouvernementaux, autorités régulatoires, autorités policières et tribunaux) pour la suppression de contenu ou la suspension des comptes.
Mise en place : Les utilisateurs doivent savoir quand un acteur étatique a demandé ou participé sur une action quelconque envers ses contenus ou comptes. Les utilisateurs doivent savoir aussi si l’entreprise croit que les mesures ont été requises par la législation applicable. Tandis que certaines entreprises rapportent maintenant des exigences étatiques pour la restriction de contenu sujets à la loi comme dans le cadre de leurs rapports de transparence, d’autres interventions étatiques ne sont pas rapportées soit publiquement ou envers les utilisateurs pris en mesure. Mais les entreprises doivent rapporter clairement aux utilisateurs quand il y a une intervention de l’état sur les règles et politiques de l’entreprise.
Spécifiquement, les utilisateurs devraient être en mesure d’accéder à :
· Des détails de toute règle ou politique, soit qu’elles appliquent globalement ou dans certaines juridictions, ce qui cherche refléter les exigences des lois locales.
· Des détails de toute relation de travail formelle ou informelle et/ou accords que l’entreprise a avec des acteurs étatiques lorsqu’il s’agit de signaler des contenus ou des comptes ou d’autres mesures quelconques prises par l’entreprise.
· Des détails des exigences étatiques pour prendre mesure sur des publications ou comptes.
5. Intégrité et explicabilité
Principe : Les entreprises doivent garantir la fiabilité et efficacité de leurs systèmes de modération de contenus, y compris les components automatisés et non-automatisés. Cela comprend poursuivre l’exactitude et non-discrimination sur les méthodes de détection, se soumettant à des évaluations régulières, et fournir équitablement de notifications et mécanismes d’appels. Les entreprises doivent surveiller activement la qualité de leurs procédures de prises de décision pour garantir de hauts niveaux de confiance, et sont encouragés à diffuser des données publiquement de ses processus et systèmes algorithmiques pour des audits externes périodiques. Les entreprises doivent travailler pour rassurer que les mesures déclenchées soient authentiques et pas le résultat d’attaques coordonnés ou de bots.
Il y a beaucoup d’inquiétudes spécifiques sur les systèmes automatisés, et les entreprises doivent les employer seulement lorsqu’elles font confiance en eux, et d’une manière transparente et vérifiable.
Mise en place : Les utilisateurs doivent faire confiance des décisions prises sur leurs contenus, qu’elles sont prises avec grande minutie et importance pour les droits humains. Les utilisateurs doivent savoir quand les décisions des modérations de contenus son prises ou assistées par les outils automatisés, et avoir un haut niveau pour comprendre la logique de la prise des décisions employé sur les processus automatisés relatifs aux contenus. Les entreprises doivent également définir clairement les control auxquels les utilisateurs ont accès et qui leur permettent de gérer la manière dont leur contenu est organisé à l’aide de systèmes algorithmiques, et quel impact a ces contrôles sur l’expérience en ligne de l’utilisateur.
Principes Opératifs
1. Nombres
Le Principe de Nombres reflète l’importance de la transparence dans la modération de contenus, à la fois pour les utilisateurs qui cherchent à comprendre des décisions concernant leur propre discours et pour la société dans son ensemble. Les entreprises doivent signaler les informations qui reflètent l’ensemble des actions que l’entreprise peut prendre contre le contenu de l’utilisateur et les comptes des utilisateurs en raison de violations des règles et politiques de l’entreprise, afin de que les utilisateurs et les chercheurs comprennent et fassent confiance aux systèmes en place.
Les entreprises doivent publier les données sur les éléments de contenu et les comptes actionnés, démantelés par pays ou région, si possible, et catégorie de règle enfreinte, selon chacune de ces dimensions :
- Nombre total d’éléments de contenu actionnés et de comptes suspendus
- Nombre d’appels de décisions de prendre mesure sur le contenu ou de suspension de comptes
- Nombres (ou pourcentages) d’appels réussis ayant entraîné le rétablissement d’éléments de contenu ou de comptes, et le nombre (ou pourcentage) d’appels infructueux ; et
- Nombre (ou pourcentage) d’appels réussis ou pas réussis pour un contenu initialement signalé par une détection automatisée
- Nombre de publications ou de comptes rétablis par l’entreprise de manière proactive, sans aucun recours d’appel, après avoir reconnu qu’ils avaient été actionnés ou suspendus par erreur
- Nombres reflétant l’application des politiques relatives au discours de haine, par groupes ou caractéristiques ciblés, le cas échéant, bien que les entreprises ne doivent pas recueillir de données sur les groupes ciblés à cette fin
- Nombres liés aux suppressions de contenu et aux restrictions effectuées pendant les périodes de crise, comme pendant la pandémie de COVID-19 et les périodes de conflit violent
Des exigences particulières en matière de rapports s’appliquent aux décisions prises avec la participation d’acteurs étatiques, qui doivent être ventilées par pays :
- Le nombre de demandes ou d’exigences faites par les acteurs étatiques pour que le contenu ou les comptes soient traités
- L’identité de l’acteur étatique pour chaque demande
- Si le contenu a été signalé par une court de justice, un juge ou un autre type d’acteur étatique
- Le nombre de demandes ou d’exigences faites par des acteurs étatiques qui ont été prises en mesure et le nombre de demandes ou exigences qui n’ont pas abouti à une action
- Si la base de chaque signalement était une infraction présumée des règles et politiques de l’entreprise (et, le cas échéant, quelles règles ou politiques) ou de la loi locale (et, le cas échéant, quelles dispositions de la loi locale) ou les deux
- Si les mesures prises contre le contenu étaient fondées sur une infraction des règles et politiques de l’entreprise ou sur une violation de la législation locale.
Étant donné qu’il existe des préoccupations particulières quant a l’abus des processus de signalement, les entreprises devraient envisager de communiquer des données qui permettront aux utilisateurs et aux chercheurs d’évaluer la fréquence de ces abus et les mesures et les mesures qu’une entreprise prend pour les prévenir. Des métriques spécifiques et/ou des rapports qualitatifs pourraient être conçus pour aider à identifier les tendances liées à l’abus dans les contextes régionaux particuliers. Les entreprises doivent envisager collecter et déclarer les actions suivantes, ventilées par pays ou région si disponibles :
- Le nombre total de signalement reçus sur une période donnée
- Le nombre total de signalements venant des bots
- Le nombre de publications et comptes signalés, au total, et ventilés par
- Infraction présumée des règles ou politiques
- Source du signalement (acteurs étatiques, signaleurs de confiance, utilisateurs, automatisation, etc).
En raison du rôle croissant que jouent les processus automatisés dans la modération de contenu, une compréhension globale des processus et des systèmes des entreprises nécessite une transparence autour de l’utilisation d’outils décisionnels automatisés. En plus des nombres sur l’utilisation de l’automatisation demandés ci-dessus, les entreprises devraient publier des informations relatives à :
- Quand et comment les processus automatisés sont utilisés (seuls ou avec une supervision humaine) lors de l’action prise sur le contenu
- Les catégories et types de contenu où les processus automatisés sont utilisés
- Les critères clés utilisés par les processus automatisés pour prendre des décisions
- Les taux de confiance, précision et réussite des processus automatisés, y compris les changements au fil du temps et les différences entre les langues et les catégories de contenu
- La mesure dans laquelle il existe une surveillance humaine sur tout processus automatisé, y compris la capacité des utilisateurs à demander une révision humaine de toute décision de modération de contenu automatisée
- Le nombre (ou pourcentage) d’appels réussis et non réussis lorsque le contenu ou le compte a été signalé pour la première fois par détection automatisée, ventilé par format de contenu et catégorie d’infraction
- La participation à des bases de données de partage intersectionnel de hash-sharing ou à d’autres initiatives et comment l’entreprise réagit au contenu signalé par de telles iniciatives.
Toutes les données doivent être fournies dans un rapport régulier, idéalement trimestriel, dans un format sous licence ouvert et lisible par machine.
2. Notification
Les entreprises doivent informer chaque utilisateur dont le contenu est supprimé, dont le compte est suspendu ou lorsqu’une autre action est entreprise en raison du nonrespect des règles et politiques de service, de la raison de la suppression, de la suspension ou de la prise en mesure. Toute exception à cette règle, par exemple, lorsque le contenu relève du spam, de l’hameçonnage ou des logiciels malveillants, doit être clairement définie dans les règles et politiques de l’entreprise.
Lorsqu’elles informent un utilisateur des raisons pour lesquelles sa publication a été traitée, les entreprises doivent s’assurer que l’avis inclut :
- URL, extrait de contenu et/ou autres informations suffisantes pour permettre l’identification du contenu actionné
- La clause spécifique des lignes directrices que le contenu a enfreinte
- Comment le contenu a été détecté et supprimé (signalé par d’autres utilisateurs, signaleurs de confiance, détection automatisée ou réclamations juridiques externes, ou autres)
- Des informations spécifiques sur l’implication d’un acteur étatique dans le signalement ou l’ordre de prise en mesure. Le contenu signalé par les acteurs étatiques doit être identifié comme tel, et l’acteur étatique spécifique doit être identifié, sauf si la loi l’interdit. Lorsqu’il est allégué que le contenu enfreint la législation locale, par opposition aux règles ou politiques de l’entreprise, les utilisateurs doivent être informés de la disposition pertinente de la législation locale.
D’autres normes pour une notification adéquate comprennent:
- Les notifications doivent être communiqués en temps opportun et doivent inclure une explication du processus par lequel l’utilisateur peur faire appel de la décision, y compris les délais ou les exigences procédurales pertinentes.
- Les notifications doivent être disponibles sous une forme durable accessible même si le compte d’un utilisateur est suspendu ou résilié.
- Les utilisateurs qui signalent un contenu doivent recevoir un registre du contenu qu’ils ont signalé et les résultats des processus de modération.
- Les notifications doivent être dans la langue de la publication d’origine ou dans la langue de l’interface de l’utilisateur sélectionnée par l’utilisateur
- Les notifications doivent fournir aux utilisateurs des informations sur les canaux d’assistance disponibles pour utilisateurs et sur la manière d’y accéder.
- Le cas échéant, une notification doit également être fournie aux autres personnes concernées, y compris les administrateurs de groupe et les signaleurs. Cela devrait inclure une notification affichée à l’emplacement d’origine du contenu qui a été supprimmé.
3. Appels
Le principe d’appel couvre les obligations des entreprises de mettre à la disposition des utilisateurs des processus d’explication, de révision et d’appels. Les utilisateurs doivent pouvoir accéder suffisamment aux canaux d’assistance qui fournissent sur la décision d’action initiale prise. Les entreprises devraient offrir une opportunité significative de faire appel en temps opportun des décisions de supprimer un contenu, de suspendre un compte ou de prendre tout autre type d’action affectant les droits humains des utilisateurs, y compris le droit à la liberté d’expression. Selon le principe de proportionnalité, les entreprises doivent donner la priorité à l’appel pour les restrictions les plus sévères, telles que la suppression du contenu et la suspension de compte.
Les entreprises doivent garantir que l’appel comprend :
- Un processus clair et facilement accessible aux utilisateurs, avec des détails sur le calendrier fournis à ceux qui les utilisent et la possibilité de suivre leurs progrès.
- Révision humaine par une personne ou un groupe de personnes qui n’ont pas participé à la décision initiale.
- La personne ou le groupe de personnes participant à la révision connaissant la langue et le contexte culturel du contenu pertinent pour l’appel
- Une occasion pour les utilisateurs de présenter des informations supplémentaires à l’appui de leur appel qui seront prises en compte lors de la révision.
- Notification des résultats de la révision, et un énoncé du raisonnement suffisant pour permettre à l’utilisateur de comprendre la décision.
À long terme, les processus de révision indépendants peuvent également être un élément important permettant aux utilisateurs de demander réparation. Lorsque de tels processus existent, les entreprises devraient fournir des informations aux utilisateurs sur l’accès à ceux-ci. Les entreprises doivent s’assurer que, dans la mesure où elles exercent un contrôle ou une influence sur les processus de révision indépendants, ils adhèrent également aux principes de Santa Clara et qu’elles fournissent des rapports de transparence réguliers, des informations claires aux utilisateurs sur l’état de leur appel et la justification de toute décision.
Les entreprises doivent déterminer si, dans certaines circonstances, les processus d’appel doivent être accélérés, par exemple lorsque l’utilisateur concerné peut être la cible d’un programme de retrait abusif ou lorsque le contenu concerné est urgent, comme le contenu politique pendant une période électorale. Lorsque les processus d’appel sont accélérés, les entreprises doivent fournir des règles et des politiques claires indiquant quand cela a lieu et si les utilisateurs peuvent demander un appel accéléré.
Principes pour les gouvernements et autres acteurs étatiques
Les gouvernements ont bien sûr l’obligation, en vertu de divers instruments juridiques internationaux, par exemple l’article 19 de la Déclaration universelle des droits de l’homme, de respecter la liberté d’expression de toutes les personnes. En conséquence, les acteurs étatiques ne doivent pas exploiter ou manipuler les systèmes de modération de contenu des entreprises pour censurer les dissidents, les opposants politiques, les mouvements sociaux ou toute personne.
En ce qui concerne la transparence, la transparence des entreprises est un élément essentiel pour garantir la confiance dans les processus de modération de contenu. Cependant, les États doivent reconnaître et minimiser leur rôle dans l’obstruction de la transparence, et doivent également faire preuve de transparence quant à leurs propres demandes de suppression ou de restriction de contenu.
1. Supprimer les barrières à la transparence de l’entreprise
Les gouvernements et autres acteurs étatiques devraient supprimer les obstacles à la transparence (et s’abstenir d’introduire de tels obstacles) qui empêchent les entreprises de se conformer pleinement aux principes ci-dessus.
Les gouvernements et autres acteurs étatiques devraient veiller à ce qu’il ne soit pas interdit aux entreprises de publier des informations détaillant les demandes ou demandes de suppression ou exécution de contenu ou de compte sujets aux demandes des acteurs étatiques, sauf si une telle interdiction repose sur une base juridique claire et constitue un moyen nécessaire et proportionné d’atteindre un but légitime.
2. Promouvoir la transparence gouvernementale
Les gouvernements et autres acteurs étatiques devraient eux-mêmes signaler leur implication dans les décisions de modération de contenu, y compris les données sur les demandes ou les demandes de contenu à traiter ou de suspension de compte, ventilées par la base juridique de la demande. Les rapports doivent rendre compte de tous les acteurs étatiques et, le cas échéant, inclure les organes infranationaux, de préférence dans un rapport consolidé.
Les gouvernements et autres acteurs étatiques devraient réfléchir à la manière dont ils peuvent encourager une transparence appropriée et significative de la part des entreprises, en conformité aux principes ci-dessus, notamment par la voie des mesures réglementaires et non-réglementaires.
Remerciements
Merci à toutes les organisations et personnes qui ont soumis des commentaires, participé aux consultations de groupe et revu et commenté les travaux préliminaires. Les organisations qui soumettent des commentaires sont les suivantes : 7amleh, Association for Progressive Communications, Centre for Internet & Society, Facebook/Meta, Fundación Acceso, GitHub, Institute for Research on Internet and Society, InternetLab, Laboratório de Políticas Públicas e Internet (LAPIN), Lawyers Hub, Montreal AI Ethics Institute, PEN America, Point of View, Public Knowledge, Taiwan Association for Human Rights, The Dialogue, Usuarios Digitales. The list of individuals and groups who coordinated and hosted consultations, and otherwise contributed to the process, includes, but is not limited to: ALT Advisory, Centro de Estudios en Libertad de Expresión y Acceso a la Información (CELE), UNESCO, Irina Raicu, Eduardo Celeste, Derechos Digitales, Robert Gorwa, Ivar A.M. Hartmann, Amélie Heldt, Tomiwa Ilori, Julian Jaursch, Clara Iglesias Keller, Paddy Leerssen, Martin J. Riedl, Christian Strippel, and Daphne Keller.
2.0 sont en outre soutenus par la Swedish Postcode Foundation.
Enfin, nous voulons remercier les auteurs et les partisans des principes originaux : ACLU Foundation of Northern California, Center for Democracy & Technology, Electronic Frontier Foundation, New America’s Open Technology Institute, Irina Raicu, Nicolas Suzor, Sarah Myers West, and Sarah T. Roberts; Santa Clara University’s High Tech Law Institute for organizing the Content Moderation & Removal at Scale conference, ainsi que Eric Goldman pour soutenir l’organisation de l’atelier qui a abouti à ce document. Cet atelier a également été rendu possible grâce au soutien de l’Internet Policy Observatory at the University of Pennsylvania. Suzor is the recipient of an Australian Research Council DECRA Fellowship (project number DE160101542).