Princípios de Santa Clara

Chapeau

Em 2018, à ocasião das conferências Moderação de Conteúdos em Escala em Santa Clara, Califórnia, Estados Unidos, um grupo de organizações de direitos humanos, ativistas e peritos acadêmicos desenvolveu e lançou um conjunto de três princípios para melhor obter uma mais transparência e responsabilização da moderação cada vez mais agressiva de conteúdo gerado por usuários em plataformas digitais. Estes princípios receberam o nome do primeiro local do encontro em Santa Clara, CA e representam recomendações de passos iniciais que empresas engajadas na moderação de conteúdos devem tomar para oferecer devido processo real aos geradores de conteúdo impactados e assegurar que a fiscalização dos diretrizes de conteúdo seja equitativa, sem preconceitos, proporcional e com respeito aos direitos do usuário. Isto foi a primeira versão dos Princípios de Santa Clara.

Desde 2018, doze grandes empresas, incluindo Apple, Facebook (Meta), Google, Reddit, Twitter, e Github—tem subscritos de Santa Clara e o número total de empresas que ofereçam transparência e proteções processuais aumentou, como também o nível de transparência e proteções processuais oferecidas por algumas das empresas maiores.

Ao mesmo tempo, a importância do papel desempenhado pelas empresas na sociedade continua a crescer, resultando em cada vez mais responsabilidade para oferecer suficientes níveis de transparência nas suas decisões, para garantir a responsabilidade.

Por estes motivos, um grupo diversificado de organizações, ativistas e peritos acadêmicos trabalharam juntos em 2020 e 2021 para desenvolver a segunda versão dos Princípios de Santa Clara. Foram desenvolvidos através de um processo de consulta com mais de 50 organizações e indivíduos, e um processo minucioso de elaboração e revisa-o. Aproveitando da experiencia e perícia de várias partes do mundo, esta segunda versão dos Princípios de Santa Clara reflete melhor as expectativas e necessidades da comunidade global.

Esta segunda versão dos Princípios de Santa Clara se divide em Princípios Fundamentais e Operacionais. Os Princípios Fundamentais são gerais e transversais que devem ser considerados por todas as empresas, independentemente do modelo de negócios, idade e tamanho, quando se trata de moderação de conteúdo. Cada princípio está apresentando junto com orientação sobre a sua implementação. Os Princípios Operacionais apresentam de forma mais especifica as expectativas das empresas maiores e mais maduras em relação a etapas e aspectos específicos do processo de moderação de conteúdo. As empresas menores, mais novas e com menos recursos também podem utilizar os Princípios Operacionais para orientação e informar adimplência futura. Em contraste com os padrões mínimos apresentados na primeira versão, esta segunda oferece maior especificidade sobre exatamente quais informações precisam para garantir a transparência e responsabilidade.

Esta segunda versão dos Princípios de Santa Clara aumenta a are-a onde requer transparência sobre o que é considerado “conteúdo” e “ação” que a empresa adota. O termo “conteúdo” se refere a todo conteúdo gerado por usuário, pago ou não, num serviço, incluindo propaganda comercial. Os termos “ação” e “acionado” se referem a qualquer forma de fiscalização empreendida pela empresa em relação ao conteúdo ou conta do usuário devido a inadimplência as suas regras e políticas, inclusive (mas não somente) a remoção de conteúdo, rebaixamento de ranking de conteúdo por algoritmo, e suspensão (temporária ou permanente) de contas.

A presente segunda versão dos Princípios de Santa Clara foi desenvolvida para apoiar as empresas com cumprimento das suas responsabilidades de respeitar os direitos humanos e aumentar a sua responsabilização, e para ajudar os defensores de direitos humanos no seu trabalho. Não foram elaborados para oferecer um modelo para regulamentos legais.

Autores:

• Access Now
• ACLU Foundation of Northern California
• ACLU Foundation of Southern California
• ARTICLE 19
• Brennan Center for Justice
• Center for Democracy & Technology
• Electronic Frontier Foundation
• Global Partners Digital
• InternetLab
• National Coalition Against Censorship
• New America’s Open Technology Institute
• Ranking Digital Rights
• Red en Defensa de los Derechos Digitales
• WITNESS

Princípios Fundamentais

1. Direitos Humanos e Devido Processo

Princípio: Empresas devem garantir que considerações sobre direitos humanos e devido processo sejam integradas em toda etapa do processo de moderação de conteúdos e divulgar informação mostrando com tal integração ocorre. Empresas somente devem usar processo automatizado para identificar ou remover conteúdo ou suspender conta, junto ou sem revisão humana, quando há alto grau de confiança na qualidade e precisão do processo. Empresas devem também oferecer métodos claros e acessíveis aos usuários para obter auxilio em caso que haja ação sobre seu conteúdo ou conta.

Implementação: Deve ser garantido ao usuário que as considerações de direitos humanos e devido processo foram integradas em toda etapa do processo de moderação de conteúdo, incluindo de ser informado sobre:

• Como foram considerados os direitos humanos - em particular, os direitos de liberdade de expressão e de não- discriminação - no desenvolvimento das regras e políticas;
• Como foi considerada a importância do devido processo na fiscalização das regras e políticas, particularmente, como garante a integridade a administração equitativa do processo; e
• Até que ponto a empresa utiliza processos automatizados na moderação de conteúdo e como foram considerados os direitos humanos no seu uso.

2. Regras e Politicas Compreensíveis

Princípio: Empresas devem divulgar regras e políticas claras e exatas sobre quando haverá ação sobre conteúdo ou conta do usuário, num local facilmente acessível e centralizado.

Implementação: O usuário deve poder rapidamente entender o seguinte:

• Que tipo de conteúdo é proibido pela empresa e será removido, com orientação detalhada e exemplos de conteúdo permitidos e não-permitidos.
• Que tipo de conteúdo provocara ação da empresa além de remoção, tipo rebaixamento de ranking por algoritmo, com orientação detalhada e exemplos sobre cada tipo de conteúdo e ação; e
• Quais são as circunstâncias que levariam a empresa a suspender a conta do usuário, de forma temporária ou permanente.

3. Competência Cultural

Princípio: A Competência Cultural requer, entre outros, que aqueles que tomam as decisões de moderação e apelação entendem a língua, cultura, e contexto político e social das mensagens que moderam. Empresas devem garantir que suas regras e políticas, e a fiscalização delas, consideram a diversidade de culturas e contextos nos quais suas plataformas e serviços se encontram e são utilizados, e devem divulgar informações sobre como tais considerações foram integradas em relação a todos os princípios operacionais. Empresas devem garantir que relatórios, notificações e apelações são disponíveis na língua na qual o usuário interage com o serviço, e que o usuário não esteja em desvantagem durante processos de moderação de conteúdo por cause da sua língua, pais ou região.

Implementação: O usuário deve ter acesso as regras e políticas e mecanismos de notificação, relatório e apelação que estejam na língua ou dialeto na qual utiliza o serviço. O usuário também deve sentir confiança que:

• As decisões de moderação são tomadas por pessoas com conhecimento da língua ou dialeto relevante.
• As decisões de moderação são tomadas com suficiente consciência de qualquer relevante contexto regional ou cultural; e
• Empresas emitirão relatórios de dados que demonstram a competência da língua, região e cultura dos usuários, com números que demonstram a distribuição geográfica e de língua dos moderadores de conteúdo.

4. Envolvimento do Estado em Moderação de Conteúdo

Princípio: Empresas devem reconhecer riscos específicos aos direitos dos usuários que resultam de envolvimento do Estado nos processos de moderação de conteúdo. Isto inclui envolvimento do Estado no desenvolvimento e fiscalização das regras e políticas da empresa, ou para aderir as leis locais ou servir outros interesses do Estado. Preocupação especifica surge quanto as ordens e solicitações de atores do Estado (incluindo órgãos governamentais, autoridades reguladoras, agencias de segurança publica e tribunais) para remoção de conteúdo ou suspensão de conta.

Implementação: O usuário deve saber se um ator do Estado pediu ou participou em qualquer ação em relação ao seu conteúdo ou conta. O usuário também deve saber se a empresa acredita que tal ação foi exigida pela legislação relevante. Embora algumas empresas agora relatam exigências do Estado de restrição de conteúdo por lei como parte dos relatórios de transparência, outros envolvimentos do Estado não são relatados nem para o público nem para os usuários acionados. Empresas devem relatar de forma clara ao usuário quando houver envolvimento do Estado na fiscalização das regras e políticas dela.

Especificamente, o usuário deve poder acessar:

• Detalhes de quaisquer regras ou políticas, que se aplicam mundialmente ou só em certas jurídicos, que buscam cumprir requisitos de legislação local.
• Detalhes de quaisquer relacionamentos e/ou acordos, formais ou informais, que a empresa mantém com atores governamentais em termos de marcar conteúdo ou contas ou outras ações tomadas pela empresa.
• Detalhes do processo pelo qual conteúdo ou contas são marcados por atores governamentais, seja na base das regras da empresa ou legislação local.
• Detalhes de ordens governamentais de acionar certas mensagens e contas.

5. Integridade e Explicabilidade

Princípio: Empresas devem garantir que seus sistemas de moderação de conteúdo, tanto os componentes automatizados como não-automatizados, funcionam de forma confiável e eficaz. Isto inclui a busca de precisão e não- discriminação nos métodos de detecção, submetendo-se a avaliações regulares, e oferecendo mecanismos de notificação e apelação equitativos. Empresas devem monitorar de forma ativa a qualidade das decisões para assegurar altos níveis de confiança, e são encorajadas a compartilhar com o público dados sobre a precisão dos seus sistemas e abrir seu processo e sistemas algorítmicos a auditagem externa periódica. Empresas devem tentar assegurar que pedidos de ação são autenticas e não resultado de bots ou ataques coordenados.

Ha várias preocupações em relação aos sistemas automatizados, e empresas devem utiliza-los somente quando tem confiança neles, e de forma transparente e responsabilizável.

Implementação: O usuário deve sentir confiança que as decisões sobre seu conteúdo são tomadas com bastante cuidado e com respeito aos direitos humanos. O usuário deve saber quando as decisões de moderação de conteúdo foram tomadas por ferramentas automatizadas, e ter bom entendimento da lógica decisória utilizada nos processos automatizados de conteúdo. Empresas também devem informar de forma clara quais controles o usuário tem acesso que permite que gerencia a maneira em que a curadoria do seu conteúdo é feita por sistemas algorítmicos, e o impacto que tais controles tem sobre a experiencia do usuário.

Princípios Operacionais

1. Números

O Princípio de Números reflete a importância da transparência na moderação de conteúdo, tanto para o usuário que busca entender as decisões sobre a sua fala como para a sociedade em geral. Empresas devem relatar informações que reflete a gama de ações que ela pode tomar contra o conteúdo e conta do usuário devido a violações das suas regras e políticas, para que o usuário e pesquisadores entendem e confiam nos sistemas em uso.

Empresas devem divulgar informações sobre peças de conteúdo e contas acionados, analisado por pais ou região, se disponível, e a categoria de regra violada, além destes aspectos:

• Número total de peças de conteúdo acionadas e contas suspensas.
• Número de apelações de decisões a acionar conteúdo ou suspender contas.
• Número (ou porcentagem) de apelações exitosas que resultam no retorno das peças de conteúdo ou ativação de contas, e o número (ou porcentagem) de apelações não-exitosas; e
• Número (ou porcentagem) de apelações exitosas ou não de conteúdo originalmente marcado por detecção automatizada.
• Número de mensagens ou contas reativadas proativamente pela empresa, sem apelação, após reconhecer que foram acionadas ou suspensas por engano.
• Números que refletem a fiscalização de políticas contra fala que incita ódio, por grupo ou caraterístico alvo, quando aparente, embora empresas não devem coletar dados sobre grupos alvo para este fim.
• Números relacionados com remoção e restrição de conteúdos feitas durante períodos de crise, como durante a pandemia COVID-19 e períodos de conflito violento.

Requisitos especiais de relatar se aplicam a decisões tomadas com envolvimento de atores governamentais, que devem ser separados por pais:

• O número de ordens ou pedidos emitidos por atores governamentais para acionar conteúdo ou contas.
• A identidade do ator governamental para cada pedido.
• Se o conteúdo foi marcado para ação por tribunal/juiz ou por outro tipo de ator governamental.
• O número de ordens ou pedidos emitidos por atores governamentais que foram acionados e o número de ordens ou pedidos que não resultaram em ação.
• Se a marcação de cada conteúdo foi baseada numa violação alegada das regras e políticas da empresa (e se for, quais regras e políticas) ou de legislação local (e se for, quais dispositivos de legislação local), ou ambos.
• Se a ação tomada contra o conteúdo foi baseada numa violação das regras e políticas da empresa ou violação de lei local.

Como existem especial preocupação que podem ser abusados os processos de marcação, as empresas devem considerar relatando dados que permitem usuários e pesquisadores a avaliar a frequência de tal abuso e as medidas que a empresa toma para preveni-lo. Métricas especificas e/ou relatórios qualitativos podem ser elaborados para ajudar identificar tendencias de abuso em contextos regionais específicos. Empresas devem considerar coletar e relatar os seguintes aspectos, separados por pais ou região se disponível:

• O número total de conteúdos marcados durante um certo período de tempo.
• O número total de marcações de conteúdos que vem de bots.
• O número de mensagens e contas marcadas, em total, e separado por
  • Violação alegada de regras e politicas
  • Fonte da marcação (ator governamental, marcador confiável, usuário, automatizada, etc.)

Devido ao aumento no papel desempenhado por processos automatizados na moderação de conteúdo, requer transparência sobre o uso destas ferramentas decisórias automatizadas para entender bem os processos e sistemas das empresas. Além dos números sobre o uso de automatização solicitado acima, as empresas devem divulgar informações sobre:

• Quando e como processos automatizados são utilizados (sozinhos ou com supervisão humana) ao acionar conteúdo.
• As categorias e tipos de conteúdo onde se utilizam processos automatizados;
• Os critérios chaves utilizados por processos automatizados para tomar decisões;
• As taxes de sucesso/precisão/confiança dos processos automatizados, incluindo mudanças ao longo do tempo e diferenças entre línguas e categorias de conteúdo;
• Até onde existe supervisão humana sobre processos automatizados, inclusive a capacidade do usuário a pedir revisão humana de qualquer decisão de moderação automatizada de conteúdo.
• O número (ou porcentagem) de apelações exitosas e não quando conteúdo foi originalmente marcado por detecção automatizada, por formato de conteúdo e categoria de violação;
• Participação em bases de dados de compartilhamento de hash com outras empresas e como a empresa lida com conteúdo marcado através destas iniciativas.

Todos os dados devem ser apresentados em relatórios regulares, idealmente trimestrais, em formato de licença aberta, e legível por máquina.

2. Notificação

Empresas devem notificar cada usuário cuja conteúdo for removido, conta suspensa, ou quando alguma outra ação for tomada devida a inadimplência com as regras e políticas do serviço, sobre o motivo de cada remoção, suspensão ou ação. Quaisquer exceções a esta regra, por exemplo, quando o conteúdo se qualifica como spam, phishing ou malware, devem ser bem explicitadas nas regras e políticas da empresa.

Ao notificar o usuário sobre porque sua mensagem foi acionada, as empresas devem assegurar que a notificação inclui:

• URL, trecho do conteúdo e/ou outra informação suficiente para permitir identificação do conteúdo acionado.
• A clausula especifica das diretrizes que o conteúdo violou.
• Como foi detectado e removido o conteúdo (marcado por outro usuário, marcador confiável, detecção automatizado ou denuncia externa legal ou outra).
• Informação especifica sobre envolvimento de ator governamental na marcação ou em mandar a ação. Conteúdo marcado por ator governamental deve ser identificado como tal, e o ator governamental especifico identificado, a menos que seja proibido por lei. Quando se alega que o conteúdo esteja em violação a legislação local, e não as regras e políticas da empresa, o usuário deve ser informado do dispositivo relevante da lei local.

Outros padrões para notificação adequada incluem:

• A notificação deve ser tempestiva e incluir uma explicação do processo pelo qual o usuário pode apelar a decisão, incluindo prazos de tempo ou relevantes requisitos processuais.
• Notificações devem ser disponíveis de forma durável e acessível mesmo se a conta do usuário seja suspensa ou fechada.
• Usuários que marcam conteúdo devem ser apresentados com um histórico de conteúdos que relataram e os resultados dos processos de moderação.
• Notificações devem ser redigidos na língua da mensagem original ou na língua de interface selecionada pelo usuário.
• Notificações devem apresentar informações ao usuário sobre canais de suporte de usuário disponíveis e como acessa-los.
• Quando apropriado, a notificação deve também ser enviada a outras pessoas relevantes, incluindo administradores de grupos e marcadores. Isto deve incluir uma notificação que aparece no mesmo local do conteúdo que foi removido.

3. Apelação

O princípio de Apelação lida com a obrigação das empresas a disponibilizar aos usuários processos de explicação, revisão e apelação. O usuário deve ser capaz a adequadamente acessar canais que ofereçam informações sobre a decisão de ação e processos disponíveis de apelação uma vez tomada a decisão inicial de ação. Empresas devem oferecer oportunidade real para apelação tempestiva de decisões de remover conteúdo, mantendo conteúdo marcado, suspender conta, ou qualquer outro tipo de ação que afeta os direitos humanos do usuário, inclusive o direito de livre expressão. De acordo com o princípio de proporcionalidade, as empresas devem priorizar oferecer apelação para as restrições mais graves, tal como remoção de conteúdo e suspensão de conta.

Empresas devem assegurar que a apelação inclui:

• Um processo claro e facilmente acessível do usuário, com detalhes cronológicos para o usuário e a capacidade rastrear o processo.
• Revisão humana por pessoa ou painel de pessoas que não estiveram envolvidas na decisão inicial.
• A pessoa ou painel de pessoas participando na revisão devem ter familiaridade com a língua e contexto cultural do conteúdo relevante a apelação.
• Oportunidade para o usuário apresentar adicionais informações para apoiar a apelação que será considerada na revisão.
• Notificação dos resultados da revisão e declaração do raciocínio suficiente para permitir o usuário a entender a decisão.

No longo prazo, processos independentes de revisão talvez sejam componente importante para o usuário pode buscar a reintegração. Onde existem tais processos, as empresas devem oferecer informação sobre como acessa-los ao usuário. Empresas devem garantir que, até onde tem controle ou influência sobre os processos independentes de revisão, estes também aderem aos Princípios de Santa Clara, e que emitem relatórios regulares de transparência, com informações claras ao usuário sobre o andamento da sua apelação e a justificativa de qualquer decisão.

Empresas devem considerar se, em certas circunstâncias, o processo de apelação deve ser acelerado, por exemplo, se o usuário seja alvo de uma tentativa abusiva de derruba do seu conteúdo, ou quando o conteúdo tiver validade/importância em certo momento, tal como conteúdo político durante período eleitoral. Quando for acelerado o processo, a empresa deve apresentar regras e políticas claras sobre quando ocorre e se o usuário pode solicitar apelação acelerada.

Princípios para Governos e Outros Atores Governamentais

É claro que os governos tem obrigação sob vários instrumentos legais internacionais, por exemplo, o Artigo 19 da Declaração Universal dos Direitos Humanos, a respeitar a liberdade de expressão de todos. Como resultado, atores governamentais não devem explorar ou manipular os sistemas de moderação das empresas para censurar dissidentes, opositores políticos, movimentos sociais ou quaisquer indivíduos.

Em termos de transparência, transparência das empresas é elemento crucial para assegurar confiança nos processos de moderação de conteúdo. Além disso, o Estado deve reconhecer e minimizar seu papel em obstruir a transparência, e também devem ser transparentes sobre suas ordens de remover ou restringir conteúdo.

1. Remover Barreiras a Transparência pelas Empresas

Governos e outros atores do Estado devem remover barreiras a transparência (e evitar introduzir tais barreiras) que previnam as empresas de cumprir plenamente os princípios supracitados.

Governos e outros atores do Estado devem assegura que empresas não sejam proibidas de divulgar informação sobre pedidos ou ordens para remoção de conteúdo ou contas ou fiscalização que originou de atores governamentais, exceto quando tal proibição tem base jurídico claro, e é meio necessário e proporcional para alcançar objetivo legitimo.

2. Promovendo Transparência do Governo

Governos e outros atores do Estado devem relatar seu envolvimento em decisões de moderação de conteúdo, inclusive dados sobre ordens ou pedidos de acionar conteúdo ou suspender contas, separados por base legal da solicitação. Relatórios devem incluir todos os atores governamentais, e, conforme aplicável, incluir os órgãos subsidiários, de preferência num relatório consolidado.

Governos e outros atores do Estado devem considerar como podem encorajar transparência apropriada e efetiva das empresas, de acordo com os princípios supra, inclusive através de medidas regulatórias e não- regulatórias.

Agradecimentos

Agradecimentos a todas as organizações e indivíduos que submeteram comentários, participaram nas consultas em grupo e revisaram e comentaram no trabalho preliminar. Organizações que submeteram comentários incluem: 7amleh, Association for Progressive Communications, Centre for Internet & Society, Facebook/Meta, Fundación Acceso, GitHub, Institute for Research on Internet and Society, InternetLab, Laboratório de Políticas Públicas e Internet (LAPIN), Lawyers Hub, Montreal AI Ethics Institute, PEN America, Point of View, Public Knowledge, Taiwan Association for Human Rights, The Dialogue, Usuarios Digitales. A lista dos indivíduos e grupos que coordenaram e patrocinaram consultas, e contribuíram de outras formas ao processo, inclui mas não é limitada ao seguintes: ALT Advisory, Centro de Estudios en Libertad de Expresión y Acceso a la Información (CELE), UNESCO, Irina Raicu, Eduardo Celeste, Derechos Digitales, Robert Gorwa, Ivar A.M. Hartmann, Amélie Heldt, Tomiwa Ilori, Julian Jaursch, Clara Iglesias Keller, Paddy Leerssen, Martin J. Riedl, Christian Strippel, e Daphne Keller.

Os Princípios de Santa Clara 2.0 também receberam apoio da Swedish Postcode Foundation.

Por fim, gostaríamos de agradecer os autores e apoiadores dos princípios originais: ACLU Foundation of Northern California, Center for Democracy & Technology, Electronic Frontier Foundation, New America’s Open Technology Institute, Irina Raicu, Nicolas Suzor, Sarah Myers West, e Sarah T. Roberts; Santa Clara University’s High Tech Law Institute por organizar a conferencia Content Moderation & Removal at Scale, como também Eric Goldman por apoiar a convocação da oficina que resultou neste documento. Também possibilitaram a realização da oficina o apoio do Internet Policy Observatory da University of Pennsylvania. Suzor é recipiente de uma bolsa da Australian Research Council DECRA Fellowship (número do projeto DE160101542).