João Freitas é GM e VP de engenharia para IA e automação em PagerDuty
À medida que o uso de IA continua a evoluir em grandes organizações, os líderes estão cada vez mais buscando o próximo desenvolvimento que irá produzir o ROI principal. A última onda desta tendência em curso é a adoção de agentes de IA. No entanto, como em qualquer nova tecnologia, as organizações devem garantir a adoção de agentes de IA de forma responsável que lhes permita facilitar a velocidade e a segurança.
Mais de metade as organizações já implantaram agentes de IA em certa medida, com mais expectativa de seguir o exemplo nos próximos dois anos. Mas muitos dos primeiros adotivos estão agora reavaliando sua abordagem. Quatro em 10 líderes de tecnologia lamentam não estabelecer um uma base de governação mais forte desde o início, o que sugere que adotaram a IA rapidamente, mas com margem para melhorar as políticas, regras e melhores práticas destinadas a garantir o desenvolvimento e a utilização da IA responsável, ética e jurídica.
À medida que a adopção da IA acelera, as organizações devem encontrar o equilíbrio certo entre seu risco de exposição e a implementação de guardrails para garantir que o uso de IA é seguro.
Onde os agentes de IA criam riscos potenciais?
Existem três principais áreas de consideração para uma adoção de IA mais segura.
O primeiro é AI sombra, quando os funcionários usam ferramentas de IA não autorizadas sem permissão expressa, ignorando ferramentas e processos aprovados. A TI deverá criar processos necessários à experimentação e inovação para introduzir formas mais eficientes de trabalhar com IA. Embora a IA sombra tenha existido enquanto as próprias ferramentas de IA, a autonomia do agente IA torna mais fácil para as ferramentas não sancionadas operarem fora do âmbito da TI, o que pode introduzir novos riscos de segurança.
Em segundo lugar, as organizações devem colmatar lacunas na propriedade e responsabilização de IA para se prepararem para incidentes ou processos que deram errado. A força dos agentes da IA reside na sua autonomia. No entanto, se os agentes agem de forma inesperada, as equipes devem ser capazes de determinar quem é o responsável por tratar de quaisquer questões.
O terceiro risco surge quando há falta de explicação para as ações que os agentes de IA tomaram. Agentes de IA são orientados para objetivos, mas como eles realizam seus objetivos não pode ser claro. Os agentes de IA devem ter lógica explicativa subjacente a suas ações para que os engenheiros possam rastrear e, se necessário, reverter ações que possam causar problemas com os sistemas existentes.
Embora nenhum desses riscos devam atrasar a adoção, eles ajudarão as organizações a garantir melhor sua segurança.
As três diretrizes para a adoção responsável do agente de IA
Uma vez que as organizações tenham identificado os riscos que os agentes de IA podem representar, eles devem implementar diretrizes e guardiões para garantir o uso seguro. Seguindo estes três passos, as organizações podem minimizar esses riscos.
1: Faça a supervisão humana o padrão
A agência de IA continua a evoluir rapidamente. No entanto, ainda precisamos de supervisão humana quando os agentes de IA recebem a capacidade de agir, tomar decisões e perseguir um objetivo que possa impactar os sistemas-chave. Um ser humano deve estar no circuito por padrão, especialmente para casos e sistemas de uso críticos para negócios. As equipes que utilizam IA devem entender as ações que podem tomar e onde podem precisar intervir. Começar conservadoramente e, com o tempo, aumentar o nível de agência dada aos agentes de IA.
Em conjunto, equipes de operações, engenheiros e profissionais de segurança devem entender o papel que desempenham na supervisão dos fluxos de trabalho dos agentes de IA. A cada agente deve ser atribuído um proprietário humano específico para uma supervisão e responsabilidade claramente definidas. As organizações também devem permitir que qualquer humano marque ou sobreponha o comportamento de um agente de IA quando uma ação tem um resultado negativo.
Ao considerar tarefas para agentes de IA, as organizações devem entender que, enquanto a automação tradicional é boa em lidar com processos repetitivos e baseados em regras com entradas de dados estruturadas, agentes de IA podem lidar com tarefas muito mais complexas e se adaptar a novas informações de forma mais autônoma. Isto torna-os uma solução atraente para todos os tipos de tarefas. Mas, à medida que os agentes de IA são implantados, as organizações devem controlar as ações que os agentes podem tomar, particularmente nas fases iniciais de um projeto. Assim, as equipes que trabalham com agentes de IA devem ter caminhos de aprovação para ações de alto impacto para garantir que o escopo do agente não se estenda além dos casos de uso esperados, minimizando o risco para o sistema mais amplo.
2: Cozer em segurança
A introdução de novas ferramentas não deverá expor um sistema a novos riscos de segurança.
As organizações devem considerar plataformas de agentes que cumpram elevados padrões de segurança e sejam validadas por certificações de nível empresarial, como SOC2, FedRAMP ou equivalentes. Além disso, os agentes de IA não devem ser autorizados a controlar livremente os sistemas de uma organização. No mínimo, as permissões e o âmbito de segurança de um agente de IA devem ser alinhados com o âmbito do proprietário, e quaisquer ferramentas adicionadas ao agente não devem permitir permissões estendidas. Limitar o acesso do agente de IA a um sistema baseado no seu papel também garantirá que a implantação funcione sem problemas. Manter registros completos de cada ação tomada por um agente de IA também pode ajudar os engenheiros a entender o que aconteceu no caso de um incidente e rastrear o problema.
3: Tornar as saídas explicável
O uso de IA em uma organização nunca deve ser uma caixa preta. O raciocínio por trás de qualquer ação deve ser ilustrado para que qualquer engenheiro que tente acessá-la possa compreender o contexto do agente utilizado para a tomada de decisão e acessar os traços que levaram a essas ações.
Entradas e saídas para cada ação devem ser registradas e acessíveis. Isso ajudará as organizações a estabelecer uma visão geral da lógica subjacente às ações de um agente de IA, fornecendo valor significativo no caso de algo dar errado.
Segurança sublinha o sucesso dos agentes de IA
Os agentes de IA oferecem uma enorme oportunidade para as organizações acelerarem e melhorarem seus processos existentes. No entanto, se não priorizarem a segurança e a forte governança, poderão expor-se a novos riscos.
À medida que os agentes de IA se tornam mais comuns, as organizações devem garantir que possuem sistemas para medir o desempenho e a capacidade de agir quando criam problemas.
Ler mais do nosso escritores convidados. Ou, considere submeter seu próprio post! Veja o nosso diretrizes aqui.
