A segurança da IA precisa ser uma prioridade para programas de experiência

As tecnologias emergentes de IA oferecem grandes oportunidades para transformar a forma como as empresas podem oferecer experiências aos clientes e funcionários, mas também trazem sérias questões de segurança. Na Medallia, nossas principais prioridades são a privacidade e a segurança dos dados de nossos clientes e a garantia do uso responsável desses dados.

Medallia vem treinando e empregando modelos de inteligência artificial (IA) há mais de 15 anos com Text Analytics e Speech Analytics - incluindo transcrição de fala para texto - para empresas de setores sensíveis, como serviços financeiros, seguros e saúde, bem como para órgãos governamentais. 

Mais de um milhão de usuários ativos por semana utilizam essas soluções baseadas em IA em quase todos os setores para entender e oferecer experiências personalizadas a clientes e funcionários. E hoje, anunciamos quatro soluções inovadoras de IA generativa na Experience '24 para acelerar esses esforços. Como estamos focados em IA há tanto tempo, as considerações de segurança são - e sempre serão - fundamentais para a forma como projetamos e implementamos modelos de IA.

Ao procurar implementar os melhores e mais recentes métodos de IA em seus programas de experiência, é fundamental entender os riscos que um modelo pode representar para a segurança dos dados que sua empresa manipula. 

Vamos delinear algumas das perguntas que você deve fazer a si mesmo e ao seu possível fornecedor de soluções de IA para ter uma ideia de como eles pensam sobre a segurança da IA.

Segurança de dados: Para onde vão meus dados? Quem os utiliza?

Alguns modelos de linguagem grandes (LLMs) ou outros modelos complexos podem exigir que seus dados saiam de seus próprios data centers para serem analisados por aqueles executados pelo proprietário do modelo. Quando os dados fluem "para fora" do seu data center e "para dentro" de um data center de terceiros, isso deixa oportunidades para os invasores interceptarem esses dados e deixa a segurança dos seus dados sujeita aos controles de segurança implementados por terceiros. 

Mas também há outros riscos de vazamento de dados. Os dados podem "vazar" na fonte ou nos subprocessadores de terceiros. Quanto mais sua rede se expandir, maior será o risco de vazamento de dados. Portanto, o fluxo dos seus dados - de onde eles vêm e para onde vão - e os controles de segurança em repouso e em trânsito são extremamente importantes quando se considera a segurança real dos seus dados ao usar modelos de IA. 

Riscos do modelo: Para que meus dados estão sendo usados? Como estão sendo usados?

Em um mundo idealmente seguro em termos de dados, as empresas criariam modelos proprietários internos, os treinariam em seus próprios dados e impediriam que esses dados saíssem de seus data centers. Infelizmente, a criação de modelos proprietários de IA desenvolvidos especificamente para os dados e sistemas de uma única empresa é proibitivamente demorada e cara, especialmente para aquelas que estão no início de sua jornada de IA. 

Para reduzir esses riscos, muitas organizações podem optar por empregar modelos internos de código aberto - modelos de código aberto hospedados em seus próprios data centers. Mesmo com pipelines de dados extremamente seguros, ainda há riscos; por exemplo, modelos treinados em conteúdo protegido por direitos autorais, modelos que não são mais suportados ou atualizados, modelos que usam tecnologia desatualizada e assim por diante. Esses riscos estão relacionados a outro tipo de risco de segurança: a estabilidade do modelo.

Como posso mitigar os riscos à segurança dos meus dados apresentados pela IA?

Então, o que você, a empresa, deve fazer para mitigar esses riscos associados à segurança dos modelos de IA? A resposta é escolher parceiros que estejam cientes desses riscos e que dediquem ativamente o design do modelo, os contratos legais, a segurança de dados, a conformidade e outros recursos relevantes para a segurança em suas plataformas.

Por exemplo, nossos altos padrões de armazenamento de dados incluem criptografia em repouso, controle de acesso rigoroso, políticas de retenção de dados, direito de exclusão e conformidade com padrões internacionais de segurança de dados, como a ISO 27001. O que tudo isso significa? Significa que estamos em conformidade com os mais altos padrões de segurança, o que inclui garantir que os dados sejam criptografados, retidos apenas por um determinado período de tempo e possam ser excluídos mediante solicitação. 

Medallia também mantém a conformidade com uma série de certificações e requisitos de segurança extremamente rigorosos, além de padrões de segurança proprietários não cobertos por regulamentações. Ao usar nossos modelos de IA (Text Analytics, Speech Analytics, speech to text e qualquer coisa alimentada por esses modelos), as empresas, os órgãos governamentais e os indivíduos são protegidos por várias camadas de segurança, até a forma como projetamos nossos produtos de IA.

Além disso, lidamos com esses problemas de várias maneiras, incluindo:

1. Implementação de altos padrões de segurança de armazenamento e transmissão de dados, com alinhamento aos melhores padrões, como ISO 27001 e SOC 2.

2. Alinhar-se aos padrões de segurança de IA e às práticas recomendadas pelo National Institute of Standards and Technology AI Risk Management Framework - também conhecido como NIST AI RMF - e ISO/IEC 23053 Framework for AI Systems Using Machine Learning (ML), alguns dos padrões globais mais robustos.

3. Criação de um Conselho de Moderação de IA interno, responsável por supervisionar todo o desenvolvimento de produtos de IA na Medallia. 

4. Lançamento de um Conselho Consultivo de IA externo que incluirá a participação das comunidades de clientes e parceiros Medallia , com foco no uso responsável e ético da IA, bem como na troca de aprendizados, desafios e práticas recomendadas.

Em segundo lugar, os fornecedores devem sempre ser transparentes sobre como usarão seus dados em seus contratos com eles. Eles devem solicitar explicitamente seu consentimento para os tipos de dados que usarão e para qual finalidade. O site Medallia garante que os clientes deem consentimento claro em nossos contratos com eles. Quando alteramos algo sobre como os dados estão sendo usados, alertamos nossos clientes com antecedência. Nunca enviaremos seus dados a um subprocessador ambíguo ou a qualquer lugar que não tenha sido previamente consentido nos termos do contrato.

O resultado de tudo isso é uma base robusta e segura para modelos de IA passados, presentes e futuros, bem como para a estrutura geral da plataforma de gerenciamento de experiência da Medallia. Nossa dedicação à criação de análises e relatórios democratizados, personalizados e seguros para negócios de escala empresarial exige que estejamos na vanguarda dos processos e normas de segurança. Você pode colher todos os benefícios desse trabalho e, ao mesmo tempo, saber que tem uma parte interessada responsável investida no futuro de seus programas de experiência baseados em IA. 

A segurança dos dados precisa ser primordial para seu fornecedor de IA

A segurança dos dados é essencial ao escolher um fornecedor de IA. Nós da Medallia aprendemos isso trabalhando em setores sensíveis nas últimas duas décadas. A proteção de dados está no centro de nossa abordagem de desenvolvimento e fornecimento de software. Ao considerar as soluções de IA, é fundamental sondar os possíveis fornecedores sobre suas medidas de segurança.

Perguntas sobre privacidade de dados, riscos de modelo e considerações éticas devem orientar sua avaliação. É fundamental entender para onde vão seus dados e como eles são usados. Para reduzir os riscos, é necessário selecionar fornecedores que priorizem a segurança, a conformidade e a transparência. Medallia A Microsoft, por exemplo, adere a padrões rigorosos de proteção de dados, está em conformidade com as normas internacionais e garante o consentimento explícito do cliente.

A incorporação da IA em seus programas de experiência é uma medida poderosa, mas deve ser feita com cuidado. O Medallia não apenas fornece recursos de IA de ponta, mas também um compromisso de que a privacidade e a segurança dos dados de nossos clientes e o uso responsável desses dados são nossas principais prioridades.