Capybot
Robô social com IA embarcada
- Equipe: NERo: Núcleo de Especialização em Robótica
- Tecnologias: IA embarcada, Visão Computacional, NLP, 3D Print
- Disciplinas relacionadas: ELT498, INF390
O que é
O Capybot é um robô social desenvolvido como plataforma de interação humano-robô, combinando visão computacional, voz, inteligência artificial e movimentação física.
Objetivo
Desenvolver um robô capaz de interagir naturalmente com pessoas e servir como plataforma de formação para novos integrantes do NERo, permitindo contato com diferentes áreas da robótica em um único sistema.
Resultados
O projeto reúne desenvolvimento de software, firmware, eletrônica, CAD e IA em uma arquitetura integrada, envolvendo uma equipe multidisciplinar e servindo como porta de entrada para projetos robóticos mais complexos.
Estágio
Em desenvolvimento. Atualmente estão sendo construídas e integradas as primeiras versões dos subsistemas de hardware, movimentação e software.
Como funciona
O Capybot busca transformar diferentes tecnologias que normalmente são estudadas separadamente em um único robô capaz de perceber pessoas, conversar e reagir fisicamente. Uma interação pode percorrer todo o sistema: o robô percebe uma pessoa, interpreta voz ou imagem, processa uma resposta e transforma essa decisão tanto em fala quanto em movimentos físicos.
Arquitetura
A arquitetura é distribuída entre um Raspberry Pi, responsável pelo processamento de alto nível, e um ESP32, responsável pela interação com componentes físicos. Essa separação permite que tarefas como IA, reconhecimento visual e processamento de voz não disputem recursos com operações de baixo nível. Na interação, o robô combina câmera, reconhecimento de pessoas, Speech-to-Text (STT), Text-to-Speech (TTS) e modelos de linguagem. Uma camada de memória permite armazenar e recuperar informações relevantes de interações anteriores. O movimento físico é realizado por servomotores controlados pelo firmware do ESP32.