Segurança para IA

Fase I - Estudo

Título da Ideia

Segurança em IA

Objetivos

Explorar riscos, técnicas de ataque, estratégias de mitigação e boas práticas para implementação segura de IA generativa.

Conceito

Esta pesquisa insere-se na convergência entre transformação digital no setor de telecomunicações e os desafios emergentes de segurança cibernética. Com a adoção massiva de chatbots baseados em LLMs (ex: GPT, Claude), empresas enfrentam novos vetores de ataque (vazamento de dados, prompt injection).

Internacionalmente, o tema tem ganhado relevância: organizações como OWASP e ENISA vêm publicando guias específicos sobre os riscos e boas práticas no uso de LLMs, enquanto empresas como a OpenAI, Anthropic e Meta têm investido em mecanismos de controle como guardrails, red teaming, e validação por múltiplos modelos (LLM-as-a-Judge). Internamente, essa pesquisa dialoga com outras iniciativas voltadas para a automação, como desenvolvimento de bots.

Possíveis evoluções dessa ideia incluem:

• Integração de blockchain para auditoria imutável (ex: rastreamento de decisões do chatbot).

• Desenvolvimento de guardrails adaptativos usando modelos especializados (ex: Claude 3 para auditoria em tempo real).

• Padronização de frameworks de observabilidade (ex: Datadog/Splunk) para detecção precoce de anomalias.

Características 

A pesquisa possui as seguintes particularidades:

• Foco em sistemas expostos a usuários externos, como chatbots de autoatendimento.

• Ênfase em riscos como prompt injection, training poisoning, data leakage, e spoofing.

• Abordagem multidisciplinar, integrando aspectos técnicos (segurança da informação), regulatórios (LGPD/ANATEL), e operacionais (experiência do cliente).

• Apresenta estratégias de mitigação em três níveis: arquitetural (secure by design), lógica de aplicação (guardrails, LLMs auditores) e governança (observabilidade e blockchain).

Estudo Dirigido

• Pesquisar e escrever sobre as características principais da tecnologia
• Redigir sobre Conceito conforme orientações do template
• Definir Objetivos com o time
• Descrever as principais soluções do mercado incluindo num item apropriado
• Avaliar os ratings e montar quadro comparativo
• Pesquisar soluções open-source
• Começar a pensar numa aplicação dessa tecnologia que deverá estar alinhada com o objetivo.

Fase II - Ensino

Conteúdo

Desenvolva um conteúdo que possa transmitir o conhecimento adquirido para outros
Crie um material (Wiki, PDF, PPT, ...) que possa ser armazenado e facilmente atualizável

Apresentação

Apresente ao grupo (reunião, EAD, Blog, ...)
Publique aqui

Metodologia

Descrevas as metodologias usadas. Alguns exemplos:

Estratégia de Job Rotation
Estudos básicos para conhecimento do potencial
Estudos básicos para entendimento sobre o problema
Estudos para dar base aos pesquisadores
Benchmarking com empresas estrangeiras 
Aceleradoras de empresas
Adoção de novas tecnologias
Utilização da proposta de soluções Open-source
Priorização no desenvolvimento interno
Foco na não dependência de fornecedores
Prática de formação dos talentos necessários 

Hipóteses

 Que questões envolvem a pesquisa? 
O que se espera provar?
O que se espera como resultado?
Explicações e argumentos que subsidiem a investigação em curso

Fase III - Exemplo de Caso de Negócio

Pesquisa de Mercado e Análise de Tendências

 Coletar dados relevantes sobre o mercado, como tamanho, crescimento, concorrência e comportamento do consumidor. Identificar tendências tecnológicas, comportamentais ou regulatórias que possam impactar o projeto.

Análise de Concorrentes e Soluções Existentes

 Pesquisar e analisar soluções concorrentes ou similares no mercado. Entender como os concorrentes monetizam suas soluções e identificar oportunidades de diferenciação.

Público - Alvo

  Identificar os principais segmentos de clientes (B2B, B2C, etc.). Descrever as características demográficas, comportamentais e 

necessidades do público-alvo.

Cenários e Oportunidades

  Avaliar a possibilidade de contratar fornecedores externos para acelerar o desenvolvimento. Considerar o desenvolvimento interno da solução, se for viável. Explorar parcerias estratégicas com outras empresas ou investidores.

Premissas Financeiras

  Listar os principais custos envolvidos no desenvolvimento e operação da solução. Estimar a receita esperada com base em projeções de mercado. Considerar reajustes anuais de preços ou custos.

Riscos do Projeto

  Identificar os principais riscos do projeto (tecnológicos, financeiros, de mercado, etc.). Propor estratégias para mitigar os riscos identificados.

Product Backlog

Descreva os riscos deste projeto

Benefícios para quem for oferecer esta solução

    Descrever em tópicos os benefícios que uma pessoa ou uma empresa podem obter: ganhos, receitas, novos negócios, novos produtos, novas parcerias

Benefícios para o usuário

    Descrever em tópicos os benefícios para os usuários desta solução.
    Pode se inspirar no Canvas.

Direcionadores chave para esta iniciativa

    Descrever em tópicos o que esta iniciativa pode proporcionar

Possíveis modelos de negócios

    Descrever em tópicos os possíveis modelos de negócios

Pesquisa de Mercado e Análise de Tendências

 Coletar dados relevantes sobre o mercado, como tamanho, crescimento, concorrência e comportamento do consumidor. Identificar tendências tecnológicas, comportamentais ou regulatórias que possam impactar o projeto.

Análise de Concorrentes e Soluções Existentes

 Pesquisar e analisar soluções concorrentes ou similares no mercado. Entender como os concorrentes monetizam suas soluções e identificar oportunidades de diferenciação.

Público - Alvo

  Identificar os principais segmentos de clientes (B2B, B2C, etc.). Descrever as características demográficas, comportamentais e necessidades do público-alvo.

Cenários e Oportunidades

  Avaliar a possibilidade de contratar fornecedores externos para acelerar o desenvolvimento. Considerar o desenvolvimento interno da solução, se for viável. Explorar parcerias estratégicas com outras empresas ou investidores.

Premissas Financeiras

  Listar os principais custos envolvidos no desenvolvimento e operação da solução. Estimar a receita esperada com base em projeções de mercado. Considerar reajustes anuais de preços ou custos.

Riscos do Projeto

  Identificar os principais riscos do projeto (tecnológicos, financeiros, de mercado, etc.). Propor estratégias para mitigar os riscos identificados.

Business Case

    Anexar material de apresentação do Business Case (caso exista)

Alinhamento com Lei do Bem

• Projeto possui algum elemento tecnologicamente novo ou inovador?

Elemento tecnologicamente novo ou inovador pode ser entendimento como o avanço tecnológico pretendido pelo projeto, ou a hipótese que está sendo testada

• Projeto possui barreira ou desafio tecnológico superável?

Barreira ou desafio tecnológico superável pode ser entendido como aquilo que dificulta o atingimento do avanço tecnológico pretendido, ou dificulta a comprovação da hipótese

• Projeto utiliza metodologia/método para superação da barreira ou desafio tecnológico?

Metodologia/método para superação da barreira ou desafio tecnológico pode ser entendido como aqueles atividades que foram realizadas para superação da barreira ou do desafio tecnológico existente no projeto

• Projeto é desenvolvido em parceira com alguma instituição acadêmica, ICT ou startup?

Se sim, o desenvolvimento tecnológico é executado por associado ou por alguma empresa terceira? qual o nome da empresa? 
Anexar cópia do contrato

Fase IV - Protótipo orientado ao Negócio

Escopo

Explique o escopo deste protótipo

Limitações

Informe sobre as limitações técnicas, comerciais, operacionais, recursos, etc.

PoC

Desenvolva um PoC (Proof of Concept)

Privacidade (LGPD)

• Avaliar condições referentes à Lei Geral de Proteção de Dados

Detalhamento Técnico

Descreva especificamente os aspectos técnicos desta pesquisa

Histórico

• 01/07/2025:
  • LC: Avaliar última versão da apresentação
  • Concluir última versão da apresentação e elaborar ata
  • Subir evidências para Feedz
  • Criar Matriz de Defesas
    • Deadline: 04/07/2025

Pesquisadores

• Carlos Ernani Jr
• Manoel Botelho
• Davi Tobias Lacerda