A IA em ambientes GxP: as perguntas que já não podemos adiar

 Durante os últimos anos, a Inteligência Artificial passou de uma tecnologia emergente para se tornar numa realidade cada vez mais presente na indústria das Ciências da Vida (Life Sciences). Desde assistentes para a geração de documentação até modelos preditivos, sistemas de apoio à tomada de decisões ou ferramentas para otimizar processos, os casos de uso aumentam constantemente e a sua adoção parece inevitável. 

Contudo, enquanto a tecnologia evolui a grande velocidade, também evoluem as perguntas que devemos fazer-nos como profissionais de Qualidade, Compliance e Validação. 

Neste artigo, Anna Dachs Soler, Life Sciences Business Strategy Manager & Senior GxP Consultant, Auditor & Trainer da Ambit Iberia, partilha as principais reflexões sobre como está a evoluir o uso da Inteligência Artificial em ambientes GxP e os desafios que coloca à indústria. 

Perguntas que devemos fazer-nos em ambientes GxP 

Após a minha recente participação no Good Manufacturing Practice Multistakeholder Workshop: Expert Contributions to Artificial Intelligence Guidance Development (Annex 22), organizado pela Agência Europeia de Medicamentos (EMA), partilho algumas das ideias mais relevantes para a evolução dos sistemas GxP. 

El objetivo del workshop no era presentar un nuevo borrador regulatorio ni comunicar qué deberán hacer las compañías en el futuro. La EMA reunió a representantes de la industria farmacéutica, fabricantes de soluciones basadas en IA, asociaciones como ISPE (International Society for Pharmaceutical Engineering), expertos en Calidad y autoridades regulatorias para escuchar diferentes perspectivas y comprender mejor qué aspectos deberían contemplarse en el desarrollo del futuro Anexo 22. O objetivo do workshop não era apresentar uma nova proposta regulamentar nem comunicar o que as empresas deverão fazer no futuro. A EMA reuniu representantes da indústria farmacêutica, fabricantes de soluções baseadas em IA, associações como a ISPE (International Society for Pharmaceutical Engineering), especialistas em Qualidade e autoridades reguladoras para ouvir diferentes perspetivas e compreender melhor que aspetos deverão ser contemplados no desenvolvimento do futuro Anexo 22. 

 Foi aí que o debate se centrou em torno de perguntas-chave: 

• Como podemos garantir que um sistema baseado em Inteligência Artificial continua a ser fiável com o passar do tempo?
• Como demonstramos que continua a ser adequado para a utilização prevista?
• Que controlos serão necessários quando um modelo evoluir?
• Até onde deve ir a supervisão humana?
• Como geraremos a evidência necessária para demonstrar que continuamos a ter o processo sob controlo?

Contudo, o fim não era dar respostas. Tratava-se de as construir conjuntamente.

E houve uma pergunta que permaneceu presente durante praticamente todas as conversas, e que todas as empresas começam a fazer-se: 

“«O que precisa realmente uma organização para utilizar Inteligência Artificial num ambiente GxP com garantias?» 

A IA não muda os princípios GxP; muda a forma de os aplicar 

«Pensava que a conversa giraria em torno de algoritmos, modelos fundacionais, LLMs ou novas capacidades da Inteligência Artificial. Contudo, a realidade foi muito diferente. O que surgiu de forma recorrente durante as sessões do workshop foram conceitos que qualquer profissional de GxP conhece há anos: Gestão do Risco, Intended Use, Lifecycle Management, Change Control, Monitorização, Evidência, Supervisão humana, Responsabilidades e Revisão periódica. E foi aí que entendi qual era realmente a mudança de paradigma: a Inteligência Artificial não está a substituir os princípios GxP. Está a obrigar-nos a reinterpretar esses princípios para uma tecnologia com um comportamento diferente do software tradicional.» 

 Quando falamos de Inteligência Artificial é fácil pensar que estamos a entrar num terreno completamente novo. No entanto, boa parte das perguntas colocadas durante o workshop tem muito mais a ver com princípios clássicos da Qualidade do que com algoritmos: 

• A abordagem baseada no risco continua a ser o eixo principal.
• A definição da utilização prevista (intended use) continua a ser crítica.
• A gestão do ciclo de vida mantém toda a sua relevância.
• A necessidade de evidência continua a ser inquestionável.
• E a mudança controlada continua a ser um requisito imprescindível.

O que muda é o objeto sobre o qual aplicamos esses princípios.

Já não falamos unicamente de aplicações determinísticas cujo comportamento permanece estável após a sua validação. Agora falamos de modelos capazes de trabalhar com incerteza, de evoluir, de se adaptar ou de se comportar de forma probabilística. E isso obriga a reequacionar como demonstramos que continuam a ser adequados para a utilização prevista durante toda a sua vida útil. Não significa abandonar os princípios GxP. Significa adaptá-los a uma nova realidade tecnológica. 

 Figura 1. Do software tradicional ao AI Governance 

 Do projeto de validação ao controlo contínuo 

Outro aspeto que me chamou especialmente a atenção foi comprovar como a conversa evolui de uma validação pontual para a geração contínua de evidência. Durante anos habituámo-nos a colocar perguntas como: 

• Está o sistema validado?
• As provas foram executadas?
• Foi aprovado para produção?

Contudo, quando falamos de Inteligência Artificial, estas perguntas já não parecem suficientes. Agora surgem outras muito mais relevantes: 

• Como sabemos que o modelo continua a funcionar como esperávamos?
• Como detetamos uma perda de rendimento?
• Como identificamos alterações nos dados ou no contexto de utilização?
• Que indicadores devemos monitorizar?
• Quando devemos reavaliar o modelo?
• Como justificamos que continua a ser adequado para a utilização prevista?

Em suma, a validação deixa de ser um ponto final para se converter num processo contínuo de geração de evidência. E provável que esta seja uma das maiores diferenças face ao paradigma tradicional. 

O papel dos guardrails de IA 

Um dos conceitos mais repetidos durante o encontro foi o de guardrails (mecanismos concebidos para controlar o comportamento de um sistema de IA). Contudo, não deveriam ser entendidos como o objetivo final.

Os guardrails são unicamente uma parte do sistema de controlo. A sua função é reduzir riscos, detetar situações não previstas ou limitar determinados comportamentos do modelo. Mas, por si só, não garantem que um sistema esteja sob controlo. 

 Esse controlo continua a depender de aspetos muito mais amplos: 

• Uma correta avaliação do risco
• Uma definição clara da utilização prevista
• Uma estratégia adequada de monitorização
• Uma gestão eficaz da mudança
• Uma supervisão humana proporcional ao risco
• Um modelo de governação que permita manter a confiança durante todo o ciclo de vida.

 Em outras palavras, os guardrails são uma ferramenta. Não substituem um sistema de qualidade. 

Uma responsabilidade partilhada

Outro dos aspetos que considero especialmente enriquecedores do workshop foi a diversidade de perfis participantes. Não estavam presentes apenas representantes de autoridades reguladoras ou empresas farmacêuticas. Participaram também fabricantes de soluções baseadas em Inteligência Artificial, que partilharam como estão a abordar estes desafios a partir do próprio desenvolvimento da tecnologia. 

 Acredito que esta visão é especialmente relevante porque a confiança não dependerá unicamente do utilizador que implementa a IA. Dependerá também do fabricante que a desenvolve. Os fabricantes deverão ser capazes de demonstrar como concebem, controlam e monitorizam as suas soluções. As organizações reguladas, por sua vez, deverão compreender suficientemente essas soluções para poderem avaliar a sua adequação dentro do seu contexto GxP.

A responsabilidade deixa, portanto, de estar concentrada num único ator. Passa a converter-se num modelo colaborativo onde fabricantes, utilizadores e reguladores partilham o mesmo objetivo: garantir que a Inteligência Artificial possa ser utilizada com confiança. 

Figura 2. El ecosistema del AI Governance

AI Governance: muito mais do que validar modelos

 Se tivesse de resumir uma das principais conclusões que levei do workshop, seria provavelmente esta: 

 «A Inteligência Artificial não está a substituir os princípios GxP. Está a acelerar a evolução para um modelo de gestão mais contínuo, baseado no risco, na evidência e na adaptação constante.» 

Isto não significa que conceitos como a monitorização contínua, a revisão periódica, a gestão da mudança ou a melhoria contínua sejam novos. Todos eles fazem parte há anos do ciclo de vida dos sistemas informatizados e de metodologias que muitas organizações já foram incorporando, especialmente em ambientes Agile ou Computer Software Assurance (CSA). 

 O que muda com a IA é que esta abordagem deixa de ser simplesmente recomendável para se converter numa necessidade. 

Ao contrário do software tradicional, um sistema baseado em Inteligência Artificial pode ver o seu rendimento afetado por alterações nos dados, no contexto de utilização ou mesmo no próprio ambiente onde opera, sem que necessariamente tenha mudado o código da aplicação. 

Por isso, a confiança já não se pode sustentar unicamente numa validação inicial. Deve ser construída e mantida mediante um processo contínuo de avaliação do risco, monitorização, geração de evidência, supervisão humana e gestão da mudança. 

É precisamente esta evolução que, na minha opinião, representa o verdadeiro significado de  AI Governance.

 Figura 3. A IA acelera a evolução do ciclo de vida GxP

A gestão contínua do risco, da evidência e da mudança não é um conceito novo em GxP. Contudo, a natureza dinâmica da Inteligência Artificial faz com que esta abordagem ganhe ainda maior relevância para manter o estado de controlo durante todo o ciclo de vida do sistema. 

Responder à IA a partir dos princípios GxP 

Se tivesse de resumir a principal aprendizagem que levo deste workshop, seria a seguinte: a Inteligência Artificial não está a criar uma disciplina completamente nova para os profissionais de GxP. Está a obrigar-nos a reinterpretar muitos dos princípios que aplicamos há décadas para responder a uma tecnologia com um comportamento diferente. 

E, de certa forma, isso é uma boa notícia. Porque significa que já dispomos de uma base muito sólida sobre a qual construir. A gestão do risco, o ciclo de vida, a geração de evidência, o controlo da mudança ou a supervisão humana continuarão a ser igualmente importantes. O que mudará será a forma como os aplicamos.

Acredito que o verdadeiro desafio não consistirá em incorporar mais Inteligência Artificial. Consistirá em demonstrar, de forma contínua, que a sabemos utilizar de maneira responsável, que compreendemos as suas limitações e que somos capazes de a manter sob controlo durante todo o seu ciclo de vida. E é provável que aí resida uma das maiores oportunidades para a Qualidade e o Compliance nos próximos anos. 

*Este artigo recolhe as minhas principais reflexões pessoais após assistir ao workshop da EMA sobre o desenvolvimento do futuro Anexo 22 para Inteligência Artificial. Não pretende resumir o conteúdo das apresentações, mas sim partilhar as ideias que considero mais relevantes para a evolução dos sistemas GxP. 

Na Ambit Iberia somos especialistas há mais de 20 anos no desenvolvimento de estratégias e soluções IT. Ajudamos os setores farmacêutico, de dispositivos médicos e de diagnóstico in vitro (in vitro diagnosis) a cumprir a regulamentação em todo o ciclo de vida do produto. Concebemos e implementamos infraestruturas inovadoras graças a uma oferta de serviços globais como alavanca facilitadora da transformação digital. Se precisar de ajuda, entre em contacto connosco.