Introdução à Análise de Movimento usando Visão Computacional

Introdução à Análise de Movimento usando Visão Computacional Relatório Interno Raquel Ramos Pinho João Manuel R. S. Tavares Miguel F. P. Velhote Correia FEUP – Faculdade de Engenharia da Universidade do Porto LOME – Lab. de Óptica e Mecânica Experimental do INEGI – Inst. de Engenharia e Gestão Industrial INEB – Inst. de Engenharia Biomédica, Laboratório Sinal e Imagem Rua Dr. Roberto Frias, s/n 4200-465 PORTO – PORTUGAL Junho 2004 Agradecimentos O trabalho apresentado neste relatório foi possível graças à colaboração e apoio de várias pessoas e Instituições cujo primeiro autor gostaria de destacar e agradecer. Nomeadamente, o apoio do Prof. João Tavares e do Prof. Miguel Correia pela sua disponibilidade e orientação; a cedência de instalações e as condições de trabalho proporcionadas pelo LOME – Laboratório de Óptica e Mecânica Experimental, e o bom ambiente e companheirismo proporcionados pelos colegas que integram a equipa do LOME; a Bolsa de Doutoramento concedida pela FCT – Fundação para a Ciência e Tecnologia no âmbito do projecto POSI sob a referência SFRH/BD/12834/2003; e especialmente a paciência e incentivo dos pais e irmão. Resumo Pretende-se com este trabalho fazer uma introdução ao que tem vindo a ser realizado no domínio do seguimento e análise de movimento recorrendo a visão computacional. Assim no primeiro capítulo deste relatório faremos referência aos vários tipos de movimento e analisaremos as fases que compõem um sistema comum de captura e análise de movimento, descrevendo sucintamente alguns trabalhos realizados nesta área. Seguidamente, no segundo capítulo, faremos uma apresentação mais detalhada da área do seguimento e análise de movimento humano de corpo inteiro; nomeadamente, no reconhecimento da pose e do reconhecimento do andar e de gestos. Finalmente, no terceiro e último capítulo, daremos ênfase à análise de imagem médica e exemplificaremos, sumariamente, algumas das suas aplicações. Abstract With this work we intend to introduce what has been done in the domain of tracking and motion analysis by using computational vision. Therefore in the first chapter of this report we will refer the various types of motion, and analyse the steps that compose a general system of movement capture and analysis, by succinctly describing some works done in this field. Then, in the second chapter we will do a more detailed study about the area of human entire body tracking and motion analysis; namely, in pose recognition and in the recognition of gait and gestures. Finally, in the third and last chapter, emphasis will be given to the medical images analysis and we will summarily exemplify some of its applications. Índice 1. INTRODUÇÃO À ANÁLISE DE MOVIMENTO...........................................................................................1 1.1 CLASSIFICAÇÃO DO MOVIMENTO.......................................................................................................................2 1.2 CAPTURA DE MOVIMENTO...................................................................................................................................2 1.2.1 Estrutura de um Sistema de Processamento de Imagem....................................................3 1.3 PRÉ-PROCESSAMENTO DE IMAGEM....................................................................................................................3 1.4 SEGMENTAÇÃO ....................................................................................................................................................3 1.4.1 Dados Temporais..................................................................................................................................4 1.4.2 Dados Espaciais....................................................................................................................................5 1.5 REPRESENTAÇÃO .................................................................................................................................................8 1.5.1 Representação baseada no objecto...............................................................................................8 1.5.2 Representação baseada em imagem............................................................................................9 1.6 SEGUIMENTO .....................................................................................................................................................10 1.6.1 Estabelecimento de correspondências entre características.............................................11 1.6.2 Modelos Probabilísticos....................................................................................................................12 1.6.2.1 Filtragem de Kalman e suas variantes...............................................................................................12 1.6.2.2 Filtros de Partículas...................................................................................................................................13 2. ANÁLISE DE MOVIMENTO HUMANO.......................................................................................................14 2.1 CAPTURA DE MOVIMENTO.................................................................................................................................14 2.1.1 Estrutura de um Sistema de Processamento..........................................................................15 2.2 RESTRIÇÕES ......................................................................................................................................................15 2.3 SEGUIMENTO .....................................................................................................................................................16 2.3.1 Inicialização..........................................................................................................................................16 2.3.1.1 Câmaras........................................................................................................................................................16 2.3.1.2 Modelos..........................................................................................................................................................16 2.3.2 Modelação.............................................................................................................................................18 2.3.3 Seguimento Múltiplo.........................................................................................................................22 2.4 RECONHECIMENTO........................................................................................................................................24 2.4.1 Estimação da Pose.............................................................................................................................25 2.4.2 Reconhecimento do Andar e de Gestos.....................................................................................26 3. ANÁLISE DE IMAGEM MÉDICA...................................................................................................................27 3.1 SEGMENTAÇÃO EM IMAGEM MÉDICA ...............................................................................................................29 3.2 ANÁLISE E SEGUIMENTO EM IMAGEM MÉDICA ...............................................................................................32 BIBLIOGRAFIA.........................................................................................................................................................34 Introdução à Análise de Movimento usando Visão Computacional 1. Introdução à Análise de Movimento A análise de movimento por visão computacional tem vindo a desenvolver-se ao longo dos últimos anos, nomeadamente nos domínios da análise de movimento do corpo humano e de estruturas em imagem médica, que constituem duas das áreas mais activas da visão computacional [Kambhamettu, 1994], [Baumberg, 1995], [Gavrila, 1999], [Tavares, 2000]. O interesse na análise de movimento não é surpreendente, uma vez que do ponto de vista técnico este domínio é rico e desafiante, pela necessidade de segmentar, seguir e analisar estruturas que muitas vezes se alteram em termos de topologia, que geralmente envolvem movimento do tipo não rígido e frequentemente sofrem oclusão parcial ou até mesmo total [Gavrila, 1999]. Os recentes avanços tecnológicos, também contribuíram para a evolução neste domínio, ao ser permitida a captura, transferência e processamento de imagens em tempo real em sistemas de hardware cada vez mais usuais. A análise do movimento do corpo humano tem vindo a ser motivada pela vantagem de melhorar a interacção homem/máquina em diversas aplicações, tais como: a análise do desempenho atlético (ver por exemplo [Pers, 2002]), em circuitos de vigilância [Cucchiara, 2000], animações em realidade virtual [Gleicher, 1999], diagnósticos e estudos clínicos [Mcinerney, 1996], [Lakany, 1999], [Tavares, 2000], [Correia, 2001], [Moeslund, 2001], [Aggarwal, 1999]. A maior parte do trabalho desenvolvido no domínio de análise de movimento humano é, normalmente, inserido na área de seguimento de sujeitos e estimativa da sua pose [Moeslund, 2001]. A análise de movimento por visão computacional, também pode ser utilizada na área biomédica para realizar, por exemplo, o estudo do movimento do coração e do pulmão [Mcinerney, 1996], ou analisar o fluxo sanguíneo no sentido de fazer a triagem de pacientes e determinar a extensão das lesões cardíacas existentes [Tavares, 2000]. Algumas das aplicações práticas que exemplificam a utilização de imagens variáveis ao longo do tempo serão a análise do tráfego automóvel, a previsão das condições atmosféricas através do movimento das nuvens, o estudo do movimento dos lábios para a sua leitura, ou a análise das deformações de materiais. Mas a análise de movimento usando visão computacional também pode ser utilizada noutros domínios, como por exemplo, para acelerar o estudo comportamental das abelhas, uma tarefa tida até então como árdua e demorada [Feldman, 2003]. A análise do movimento é fundamentada, por exemplo, por estudos psicológicos que indicam que o movimento é um mecanismo de agrupamento visual primário; enquanto que a capacidade de detectar objectos a partir de características bidimensionais como a cor, textura ou forma parece desenvolver-se posteriormente [Spelke, 1994]. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 1 Introdução à Análise de Movimento usando Visão Computacional 1.1 Classificação do Movimento Comummente, o movimento diz-se rígido se a distância entre quaisquer dois pontos do objecto é preservada, isto é, o objecto não estica nem dobra, sendo preservadas a curvatura média e a curvatura Gaussiana da superfície [Tavares, 2000]. A hipótese de movimento rígido falha em numerosas situações de análise de movimento, uma vez que muitos objectos da vida real não são rígidos; na verdade, todos os objectos são mais ou menos deformáveis. Por exemplo as árvores balançam, o papel dobra-se, a roupa amarrota-se, etc. [Kambhamettu, 1994]. O movimento não rígido pode ser classificado de diversas formas; ver por exemplo [Kambhamettu, 1994]. Neste trabalho, utilizamos a classificação utilizada em [J Wang, 2003], segundo a qual o movimento não rígido pode ser articulado, elástico ou fluido. O movimento articulado ocorre se as partes rígidas de um objecto se movem independentemente das restantes. De acordo com a caracterização dos tipos de movimento supracitada, a maior parte do movimento do corpo humano é não rígido e rígido por partes, sendo por isso geralmente classificado como articulado. O movimento elástico caracteriza-se pelo movimento não rígido com algum grau de continuidade e suavidade, como será o exemplo do movimento do coração, o acenar de um lenço, o dobrar de uma folha de metal, onde a forma do objecto deforma segundo determinadas restrições. O movimento fluido é um movimento não rígido que não satisfaz a restrição de continuidade, podendo envolver variações topológicas e deformações turbulentas [Tavares, 2000]. 1.2 Captura de Movimento Dada a variedade de aplicações da análise de movimento, são inúmeras as técnicas de captura que podem ser utilizadas. Assim, para cada aplicação podem ser escolhidas as técnicas que melhor se coadunam às restrições e necessidades específicas da área. Mas de uma forma geral, pode-se considerar que os tipos de imagens utilizados são gerados pela combinação de uma fonte de iluminação com a reflexão e absorção de energia por parte dos elementos da cena que são visualizados [R Gonzalez, 2003]. Os termos “iluminação” e “cena” referidos são bem mais gerais do que uma fonte de luz visível que ilumina uma cena 3D comum. Por exemplo, a iluminação poderá ser oriunda de uma fonte de energia electromagnética tal como um radar, infravermelho ou raio-X; ou então de fontes menos comuns como ultrasons ou PET’s (Positron Emission Tumography). De modo similar, os elementos da cena podem ser objectos familiares, ou também poderão ser moléculas, rochas ou estruturas do cérebro humano. Dependendo da fonte de luz, a energia de iluminação é reflectida ou transmitida pelos objectos. Por exemplo, na monitorização de insectos podem ser incluídos dispositivos ópticos e optoelectrónicos, câmaras, identificação por rádio-frequência, rádio-telemetria, etc. Estas técnicas podem ser utilizadas para gravar e analisar o movimento em túneis de vento. Ainda neste domínio, Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 2 Introdução à Análise de Movimento usando Visão Computacional também se pode recorrer a imagens aéreas ou por satélite, por exemplo para deduzir as alterações na distribuição da população em algumas espécies migratórias de insectos [Reynolds, 2002]. 1.2.1 Estrutura de um Sistema de Processamento de Imagem Um sistema típico utilizado para processamento de imagens de carácter geral, começa pela captação por parte de um dispositivo físico (sensor) de energia radiada pelo objecto que se pretende visualizar. Os dados recolhidos pelo sensor são de seguida convertidos por um digitalizador num formato digital. O tratamento dos dados é feito por intermédio de um computador cujo software executa tarefas específicas, e a exibição dos dados é feita através de monitores [R Gonzalez, 2003]. Independentemente do contexto do processamento de imagem em análise de movimento, três aspectos comuns podem ser identificados. Quase todos os problemas começam por um problema de segmentar o objecto em causa do resto da imagem. De seguida, as áreas segmentadas podem ser transformadas numa outra representação no sentido de reduzir a quantidade de informação. E por fim, é definido como o objecto deve ser seguido entre quadros, isto é ao longo da sequência de imagens. 1.3 Pré-Processamento de Imagem Uma vez adquiridas as imagens, poderá ser necessário utilizar algumas técnicas de pré-processamento no sentido de se facilitar a análise dos dados recolhidos. Para tal, poder-se-ão utilizar técnicas de realce, de restauração, de processamento de imagens a cores ou compressão das imagens [R Gonzalez, 2003]. As técnicas de realce de imagem têm por objectivo sobressair detalhes obscuros, ou salientar características de interesse da imagem. Um exemplo familiar de realce de imagem consiste em aumentar o contraste. A restauração de imagem também visa a melhoria da aparência. As técnicas utilizadas são geralmente baseadas em modelos probabilísticos ou matemáticos de degradação da imagem. A utilização de imagens a cores tem vindo a ser cada vez mais frequente, até porque a cor pode ser utilizada para a extracção de características de interesse. Assim, há que averiguar se os métodos de escalas de cinzento se mantém consistentes com as propriedades dos espaços de cor, ou se os referidos métodos devem ser reformulados. A compressão de imagens consiste na utilização de técnicas para a redução do espaço de armazenamento necessário para salvar as imagens ou da largura de banda para as transmitir. 1.4 Segmentação Feito o pré-processamento das imagens captadas, para prosseguir com a análise de movimento é necessário determinar as regiões que correspondem aos objectos na cena em causa. Este processo designa-se por segmentação. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 3 Introdução à Análise de Movimento usando Visão Computacional Na segmentação de imagens baseada em modelos, são exploradas informações prévias acerca dos objectos e/ou da cena através da imposição de restrições, como por exemplo sobre as fronteiras das regiões a segmentar. Neste trabalho fazemos a distinção entre a segmentação obtida com base em informação temporal ou espacial. 1.4.1 Dados Temporais Em grande parte dos casos, o uso de dados temporais pressupõe a hipótese de o fundo da cena e também a câmara permanecerem estáticos. Assim, através da diferença entre imagens pode-se determinar o movimento do objecto em estudo. A determinação das referidas diferenças, pode ser realizada através da subtracção entre imagens ou pelo cálculo do fluxo óptico [Moeslund, 2001]. A subtracção de imagens é amplamente utilizada e caracteriza-se por subtrair a intensidade ou o gradiente de cada pixel entre várias imagens. O resultado reflecte o movimento e o ruído entre imagens a menos que o objecto tenha a mesma intensidade/cor do fundo da cena. Caso a cena seja estática, pode ser adquirida uma imagem da mesma sem ruído e sem qualquer objecto e utiliza-la como referência no esquema de subtracção. Uma versão mais avançada consiste em actualizar a imagem do fundo da cena durante o processamento [Haritaoglu, 1998]. A subtracção apresenta bons resultados em situações controladas; contudo para imagens reais de ambientes exteriores, detectam-se várias limitações devido a possíveis variações de iluminação, da existência de sombras e de reflexos, da presença de contraste reduzido e/ou da possibilidade de ocorrer oclusão que necessariamente degradam os resultados obtidos [Correia, 1995]. Por outro lado, o fluxo óptico [Correia, 2001] baseia-se no movimento coerente de pontos ou características entre imagens e pode ser utilizado para fazer a segmentação em imagens. Por exemplo em [Yamamoto, 1991] os parâmetros do movimento de uma parte do corpo humano podem ser estimados a partir do fluxo óptico dos vários pontos que constituem essa parte do corpo, através da comparação com o movimento do modelo pré definido. Em [Bregler, 1997], assim como em [Bregler, 1998], cada pixel é representado pelo seu fluxo óptico, sendo agrupados em objectos binários de grande dimensão (designados por blobs) com movimentos coerentes e representados por uma combinação de Gaussianas multivariadas. Em [Gu, 1994] são segmentadas as orlas de intensidade em imagens consecutivas pelo seu comprimento e contraste também utilizando fluxo óptico. Na segmentação baseada em dados temporais, e consequentemente nos exemplos mencionados, assume-se que o único objecto que se move em cena é o objecto em estudo, e portanto as alterações das intensidades dos pixels devem-se apenas à existência de movimento. Em muitos casos, os dados temporais são uma forte alternativa aos dados espaciais pois, geralmente, são mais fáceis de extrair. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 4 Introdução à Análise de Movimento usando Visão Computacional 1.4.2 Dados Espaciais A segmentação com recurso a dados espaciais pode ser realizada por binarização ou segundo abordagens estatísticas. A segmentação por binarização consiste num processo simples baseado em hipóteses relativas à cena ou ao objecto. A segmentação por abordagens estatísticas é uma classe mais avançada, em que são relaxadas algumas hipóteses de aparência exploradas pelos métodos de subtracção. Caso a cor/intensidade do objecto possa ser distinguida do resto da cena, poder-se-ão segmentar imagens por binarização como em [Darrell, 1994] e em [Iwai, 1999]. Outra versão consiste em utilizar marcas passivas ou activas no objecto em estudo que sejam facilmente segmentadas por binarização [Campbell, 1995], [Goncalves, 1998]. Uma abordagem semelhante recorre à utilização de câmaras de infra-vermelhos e marcas especiais detectadas por estas [Iwasawa, 1997]. As abordagens estatísticas utilizam as características individuais dos pixels ou de grupos de pixels, tais como cor e contornos, para extrair o objecto da imagem. Algumas destas abordagens (estatísticas) consideram uma sequência de imagens do fundo da cena e calculam a média e variância da intensidade/cor de cada pixel ao longo do tempo. Em cada imagem o pixel é comparado com as estatísticas da imagem de fundo e classificado como pertencente ou não ao mesmo. O problema da detecção de movimento pode ser implementado para que a diferença entre quadros/imagens seja modelada como uma mistura de duas distribuições Gaussianas. Este modelo não é adequado quando o fundo da cena tem orlas de intensidade junto aos objectos, mas é muito rápido [J Wang, 2003]. Por exemplo, em [Stauffer, 1999] é utilizada uma mistura de Gaussianas adaptativas para modelar o fundo, depois cada pixel é classificado como pertencente ou não a este a partir da distribuição Gaussiana que melhor o representa, segmentando-se assim de forma robusta a região de movimento mesmo em ambientes reais (fig. 1). Também, em [Cucchiara, 2000] é utilizada uma abordagem estatística em circuitos de vídeo-vigilância para segmentar rapidamente objectos em movimento em ambientes naturais não controlados. Em [Wren, 1997] analisa-se o movimento humano, sendo o sujeito modelado por um conjunto de blobs com cores e estatísticas espaciais individuais, e cada pixel da imagem é classificado como pertencente a um dos blobs de acordo com as sua propriedades espaciais e de cor. Outra abordagem estatística consiste em utilizar contornos estáticos ou dinâmicos. Os contornos estáticos, referem-se ao uso pré-definido de estruturas estáticas que representam bordão contorno do objecto, tais como segmentos. Os contornos dinâmicos, ou activos, são utilizados de forma semelhante exceptuando o facto de se poderem ajustar aos objectos [Kass, 1988], [Cootes, 1992] e geralmente funcionam adequadamente quando a estrutura destes é desconhecida. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 5 Introdução à Análise de Movimento usando Visão Computacional movimento humano, por exemplo correr ou andar. Neste trabalho, cada indivíduo é delimitado por uma caixa rectangular cujo centróide é a característica a seguir, o que permite também que o movimento continue a ser seguido mesmo quando ocorre oclusão de sujeitos. Em [Little, 1998], é utilizada uma abordagem sem modelo, à semelhança do realizado em [Polana, 1994], mas o seguimento do sujeito é obtido a partir dos momentos da distribuição de fluxo óptico denso. Por outro lado, em [Georgescu, 2004] encontra-se um exemplo que pode ser utilizado no seguimento de características de baixo nível. Através da abordagem apresentada será possível obter o emparelhamento de pontos sob grandes deformações da imagem e alterações de intensidade de iluminação, conciliando a usual análise do fluxo óptico com um método de emparelhamento das distribuições de cor das partes consideradas relevantes nas imagens dadas. Em [Lipton, 1998] é implementado um algoritmo de seguimento que combina o emparelhamento baseado nas correlações de aparência e a detecção do movimento, em que as regiões de movimento são utilizadas para conduzir o processo de correlação e actualização dos templates considerados. O trabalho mencionado permite o seguimento de movimento humano e de veículos, obtendo-se resultados satisfatórios mesmo com fundos complexos, não sendo necessário fazer previsões uma vez que o seguimento é baseado na detecção do movimento. Os modelos de diferenciação temporal têm vindo a desenvolver-se no sentido de não utilizarem filtros de predição no seguimento robusto do movimento. Nestas metodologias, as derivadas temporais e a correspondência de orlas de intensidade podem ser combinadas para a segmentação de regiões em movimento. 1.6.2 Modelos Probabilísticos Nesta secção abordaremos alguns modelos probabilísticos, nomeadamente o filtro de Kalman, e filtros de partículas. 1.6.2.1 Filtragem de Kalman e suas variantes A filtragem de Kalman e suas variantes, podem ser utilizadas no seguimento, uma vez que o seu algoritmo é recursivo e portanto é uma estrutura adequada para obter a estimativa incremental do movimento. Contudo, os resultados obtidos nem sempre são os melhores, pelo que se conciliaram técnicas com o filtro de Kalman e desenvolveram-se algumas variantes do mesmo. Em [Tavares, 1995] é realizado o seguimento de segmentos de recta (determinados por detecção das orlas de intensidade e simplificados por um algoritmo de faixas dinâmicas), baseado em filtragem de Kalman e utilizando um modelo da estrutura a seguir continuamente actualizado, obtendo-se em situações reais resultados bastante satisfatórios. Em [Nascimento, 2003a] utiliza-se a predição de contornos através de um filtro de associação de dados probabilísticos da forma [Kirubarajan, 2004], atribuindo um grau de confiança para as características seguidas (no caso, centróides e traços - características de nível médio), o que permite que os outliers não Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 12 Introdução à Análise de Movimento usando Visão Computacional influenciem os resultados do seguimento. Desta forma, obtém-se resultados mais robustos do que através do filtro de Kalman (ver fig. 7). Fig. 7. Seguimento de transições abruptas com filtragem de Kalman (coluna da esquerda) e com uma das metodologias propostas em [Nascimento, 2003a]. O filtro de Kalman pressupõe a linearidade do sistema e que o ruído envolvido é do tipo branco, isto é de média nula e variância constante [Correia, 1995], estando assim restrito a situações em que a distribuição dos parâmetros de estado são unimodais. Contudo, conforme foi experimentado em [Deutscher, 1999] a natureza complexa da captura de movimento associada à existência de oclusão, fundos e dinâmicas complexas, provoca que a densidade posterior seja não Gaussiana e multimodal. Para superar estas situações poderá ser mais adequado o uso de um filtro de Kalman estendido. Por exemplo em [Rosales, 1998], onde é proposto um mecanismo de seguimento que combina o processamento de imagem (baixo nível) com a estimativa recursiva de trajectória (alto nível) através do filtro de Kalman estendido, o que resulta num sistema que pode segmentar e seguir objectos em movimento antes, durante e depois da oclusão. Também em [Jang, 2002] é utilizado um filtro de Kalman estendido, o filtro de Kalman estrutural, que utiliza a informação relativa entre sub-regiões dos objectos em movimento, mas cujos resultados falham caso o modelo inicial esteja oculto. 1.6.2.2 Filtros de Partículas Entretanto, verificou-se que os filtros de Kalman e suas variantes falham catastroficamente nos casos em que a função de probabilidade diferem da normal [Davison, 2001]. Assim, desenvolveram-se algoritmos alternativos para o seguimento, no sentido de se poderem considerar por exemplo hipóteses múltiplas, isto é, que suportem distribuições multimodais. O método mais reconhecido será o de Condensação [Isard, 1998], um filtro de partículas, que utiliza a amostragem factorizada com um modelo estocástico de movimento de objectos. Este método baseia-se na amostragem da distribuição posterior estimada do quadro anterior, e propaga essas amostras para formar o posterior do quadro actual. Os filtros de Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 13 Introdução à Análise de Movimento usando Visão Computacional partículas apresentam-se como uma alternativa poderosa ao filtro de Kalman [Isard, 1998], [Sidenbladh, 2003]; contudo, uma vez que são não paramétricos, requerem a utilização de um número relativamente elevado de amostras. Por exemplo, em [Davison, 2001] é preterido o uso do filtro de Kalman estendido para implementar um filtro de partículas, o que possibilitou o seguimento de movimentos ágeis do corpo humano. Para problemas de maiores dimensões, poderá ser necessário utilizar métodos mais eficientes. Por exemplo, em [Cham, 1999] só os picos da distribuição anterior são amostrados e propagados ao quadro seguinte, e a distribuição é composta por Gaussianas parcelares cujas médias são dadas pelas amostras propagadas e as covariâncias pelas incertezas das predições, obtendo-se uma distribuição paramétrica. Em [Deutscher, 2001] é introduzido um filtro de partículas modificado que utiliza o princípio da continuação, e a combinação das orlas de intensidade e silhuetas do primeiro plano, que obtém bons resultados de seguimento [Mikic, 2003]. 2. Análise de Movimento Humano O trabalho desenvolvido no seguimento e análise de movimento pode ser utilizado no caso específico do movimento humano. Contudo, existem particularidades relativas ao movimento humano que podem ser aproveitadas no sentido de se obterem melhores resultados e em menos tempo, ou seja com menor esforço computacional. Nesta vasta área de análise de movimento humano, existem desenvolvimentos dedicados exclusivamente às expressões faciais, como por exemplo os trabalhos descritos em [Essa, 1995] ou em [Ma, 2004], aos gestos das mãos, como os indicados em [Yin, 2001]. A título exemplificativo, a análise do movimento das mãos é importante enquanto meio de comunicação em aplicações clínicas ou não, ou em sistemas de interface homem/máquina [Pavlovic, 1997]. Neste trabalho faremos apenas referência aos estudos de movimento que podem ser estendidos à análise do movimento de corpo inteiro. Assim, no seguimento humano podem ser utilizados modelos que facilitam o processamento e se adaptam às especificidades deste tipo de movimento. Na sequência do seguimento do movimento humano, surgem aplicações concretas específicas como são por exemplo, o reconhecimento que integra a estimação da pose, o reconhecimento do tipo de andar, etc. 2.1 Captura de Movimento Os sistemas utilizados para capturar o movimento humano são compostos por subsistemas de detecção e processamento. A detecção pode ser feita de forma passiva ou activa, sendo que na detecção activa são colocados dispositivos nos sujeitos e nos espaços envolventes que emitem e recebem sinais, respectivamente. A detecção activa permite o processamento mais simples e é geralmente utilizada em Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 14 Introdução à Análise de Movimento usando Visão Computacional ambientes “controlados”. Por outro lado, a detecção passiva é baseada em fontes “naturais” de sinal, por exemplo luz visível ou outros comprimentos de onda electromagnéticos, não sendo necessária a integração de dispositivos no vestuário, por vezes com a excepção da utilização de marcadores que são colocados no sujeito de forma a facilitar a captura de movimento [Moeslund, 2001]. A visão computacional através de sistemas automáticos de captura de movimento [Lee, 2000] tem vindo a desafiar a detecção activa [Moeslund, 2001]. Independentemente da forma como é realizada a captura do movimento, a sua detecção por visão computacional pode ser resultante do movimento da câmara com o sujeito estático, ou pelo contrário o indivíduo pode mover-se e a câmara permanecer estática, ou então pode haver movimento da câmara e da pessoa em simultâneo [J Wang, 2003]. 2.1.1 Estrutura de um Sistema de Processamento Para que um sistema possa processar os dados a considerar pode ser necessário inicializá-lo, o que pode consistir por exemplo no estabelecimento de restrições ou na escolha de um modelo do indivíduo. De seguida, é feito o seguimento do movimento do sujeito, o que implica que a pessoa seja segmentada em cada imagem e que sejam estabelecidas correspondências entre dados em imagens consecutivas. Assim, uma das possíveis aplicações poderá ser a estimativa da pose do corpo do sujeito para, por exemplo, reconhecer as suas acções ou para fazer a análise clínica da sua marcha. Um sistema de análise de movimento humano poderá não incluir todas estas fases, ainda que todos os sistemas possam ser incorporados nesta estrutura [Moeslund, 2001]. 2.2 Restrições Na análise de movimento humano podem ser consideradas duas grandes classes de restrições: as baseadas no movimento e as baseadas na aparência. As restrições de movimento estão relacionadas com os movimentos dos indivíduos e/ou da(s) câmara(s) envolvidas; por exemplo, se a pessoa permanece dentro do espaço que esta a ser considerado na captura, se existe oclusão, se a câmara permanece sem movimento ou com movimento constante, etc. Por outro lado, as restrições de aparência estão relacionadas com o ambiente e com os sujeitos; por exemplo, existência de iluminação constante, de fundos estáticos, posição/forma inicial dos indivíduos conhecida, etc. A inclusão de restrições tem por objectivo a redução da complexidade do problema associado à análise do movimento. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 15 Introdução à Análise de Movimento usando Visão Computacional 2.3 Seguimento Fazer o seguimento ao longo do tempo, consiste em estabelecer correspondências entre as estruturas das imagens em quadros consecutivos, ou seja ao longo de sequências de imagem, baseadas em características relacionadas com a posição, a velocidade, a textura e a cor [Aggarwal, 1999]. 2.3.1 Inicialização A inicialização inclui as operações que asseguram que o sistema principia a sua tarefa com uma interpretação correcta da cena inicial; exemplos de tais operações são: a calibração da(s) câmara(s), a adaptação do sistema às características da cena, a inicialização do modelo, etc. Por vezes o termo inicialização é substituído por pré-processamento de dados [Meyer, 1997], [Rossi, 1994]. Algumas operações de inicialização podem ser realizadas antes de principiar a captura de movimento, enquanto outras poderão estar incluídas na primeira fase do processamento de cada imagem. Esta etapa da análise de movimento poderá ser simplificada, recorrendo-se a algumas das restrições anteriormente mencionadas. 2.3.1.1 Câmaras No que se refere aos parâmetros da(s) câmara(s) geralmente a calibração é feita offline, e para as câmaras estacionárias a recalibração ocasional será usualmente suficiente. Contudo, se existirem factores que se alteram significativamente, por exemplo de disposição, é preferível realizar a calibração online [Azarbayejani, 1996]. A adaptação às características da cena está, geralmente, relacionada com as restrições de aparência e com as restrições dos métodos de segmentação utilizados. Usualmente, são captadas imagens de referência offline que serão utilizadas no processamento [Moeslund, 2001]. Todavia, também existem sistemas que através de procedimentos adaptativos calculam e actualizam as características da cena em cada instante [Haritaoglu, 1998]. 2.3.1.2 Modelos Existem duas abordagens típicas para a análise de movimento, dependendo se são utilizados modelos do sujeito a priori ou não. A utilização de modelos do sujeito, pode ter a desvantagem da perca de generalidade do algoritmo implementado, contudo poderá ter a vantagem de facilitar a correspondência de características entre quadros consecutivos, isto é ao longo da sequência de imagens, [Aggarwal, 1999]. Os modelos também podem ser construídos ao longo da sequência de imagens, isto é em runtime, tal como é realizado em [Kakadiaris, 1995]. No trabalho referido, é apresentada uma abordagem que recupera o movimento humano através da análise espacio-temporal da silhueta, sem a utilização de um modelo prévio nem a segmentação das partes do corpo. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 16 Introdução à Análise de Movimento usando Visão Computacional Todavia, na construção de sistemas mais rápidos e fiáveis, geralmente é utilizado um modelo previamente definido, uma vez que deste modo se torna possível lidar com situações como, por exemplo, a perca de dados devido a situações de oclusão [Baumberg, 1995]. Quando se utiliza um modelo, a sua inicialização prende-se com a pose inicial do objecto em causa, neste caso do sujeito, e com a escolha do modelo de representação para o mesmo. Tal como em outros trabalhos para a análise de movimento humano, em [Rohr, 1997] é utilizada uma abordagem baseada num modelo para estimar a posição inicial do indivíduo, que vai sendo incrementado em cada quadro. Na maioria dos casos, o problema é reduzido ao partir-se do princípio que a pose inicial do sujeito é conhecida, ou então porque existe uma determinada pose inicial, ou ainda porque o utilizador do sistema especifica a referida pose inicial. Actualmente, poucos são os sistemas que têm uma fase de inicialização com a qual a pose inicial é determinada automaticamente [Rohr, 1997], e geralmente requerem que o sujeito efectue alguns movimentos para ser possível identificar as partes do seu corpo. Até mesmo os sistemas comerciais disponíveis para a captura de movimento, requerem que o sujeito utilize marcadores, fatos ou luvas especiais [Mikic, 2003]. Por exemplo em [Baumberg, 1995], um sistema é treinado automaticamente a partir de sequências de vídeo para aprender as restrições da forma e do movimento de objectos não-rígidos. Este sistema aprende um modelo espacio-temporal baseado em princípios físicos, que prevê as alterações na forma do sujeito ao longo do tempo. Depois o modelo construído é utilizado para fazer o seguimento em tempo real, através de técnicas lineares de filtragem optimizadas com um esquema de “feedback” para melhorar a robustez e precisão dos resultados. Uma abordagem alternativa é utilizada em [Mikic, 2003], assim a aquisição do modelo faz-se por localização das partes do corpo, através de um procedimento de ajustamento e crescimento que recorre a informações prévias sobre as formas e as dimensões médias das partes do corpo, sendo de seguida refinado o modelo inicial obtido através da utilização de uma rede bayesiana. Por outro lado, em [Ramanan, 2003] é apresentada uma abordagem de seguimento baseada num modelo de aparência robusto, já que a configuração do corpo pode mudar na sequência mas a geralmente sua aparência não, sem inicialização manual e que consegue gerir situações de oclusão temporária. Os modelos de aparência ajustam a imagem inicial ao modelo, através da minimização do erro, podendo a forma e a aparência ser modeladas independentemente ou parametrizadas com um único conjunto de parâmetros lineares [Matthews, 2004]. Um exemplo de um modelo mais sofisticado é apresentado em [Thalmann, 1996], [Plänkers, 1999], [Plänkers, 2001], que utiliza primitivas volumétricas associadas a um esqueleto articulado, cada uma gerando um campo de potencial, sendo a pele considerada como uma isosuperfície do potencial combinado (Fig. 8). Este modelo tem a vantagem de ter um número reduzido de parâmetros e é de computação rápida; contudo para inicializar o modelo proposto, é necessário que o utilizador defina a localização de alguns pontos num par de imagens. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 17 Introdução à Análise de Movimento usando Visão Computacional (a) (b) (c) (d) (e) Fig. 8. Objectos articulados modelados pelo método proposto em [Plänkers, 2001]: (a) esqueleto; (b) primitivas volumétricas utilizadas para simular músculos e tecidos gordos; (c) superfície poligonal em representação da pele; (d) representação sombreada; (e) uma vaca e um cavalo modelados pela mesma técnica. Em alguns casos o algoritmo de seguimento e estimação de pose é o mesmo, quer na fase inicialização quer na fase seguinte [Njastad, 1999]. Tal implica que não sejam considerados dados temporais nem realizada a aprendizagem do sistema durante o processamento. Estes sistemas geralmente não são considerados de inicialização, uma vez que não contemplam este problema de um modo geral, mas pelo contrário estão restritos à hipótese do padrão de movimento ser conhecido. 2.3.2 Modelação O movimento humano é complexo, não linear e varia com o tempo. Conforme foi referido, o seguimento e a análise de movimento por visão computacional pode ser realizada através da modelação do corpo humano. Os resultados de uma abordagem baseada em modelos são usualmente dependentes da adequação do modelo ao sujeito, isto é, da complexidade do modelo [Moeslund, 2001]. Alguns sistemas utilizam um modelo genérico construído a partir da média de vários indivíduos [Baumberg, 1995]. Outros sistemas consideram o sujeito actual e geram um modelo a partir dos dados observados, e podem refinar o modelo à medida que se vai obtendo mais informação acerca do sujeito em causa [Wren, 1997]; ou então pode ser obtido um modelo personalizado ao adequar um modelo genérico aos dados actuais [Zheng, 1998], por exemplo à altura do indivíduo [J Wang, 2003]. Em [Hogg, 1984] é realizada uma das primeiras aplicações de modelos articulados ao movimento do corpo humano [Little, 1998], sendo realizado o seguimento de “baixo nível” do movimento humano. Os modelos utilizados no seguimento de movimento humano podem modelar o movimento articulado com ou sem informação prévia sobre a forma. Se apenas for considerada informação acerca da textura ou cor do indivíduo, então são utilizados modelos de aparência (fig. 9). Caso, sejam incluídas informações prévias acerca das formas, os modelos poderão ser cinemáticos, dinâmicos ou deformáveis [J Wang, 2003]. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 18 Introdução à Análise de Movimento usando Visão Computacional Fig. 9. Alguns exemplos de modelos utilizados para análise de movimento humano de corpo inteiro poderão ser os modelos de contornos ou os esqueletizados [J Wang, 2003]. As abordagens baseadas em modelos de aparência têm utilizado modelos Gaussianos, filtragem de Kalman, diferenciação temporal, agrupamentos de regiões ou contornos activos. A detecção de movimento e o seu seguimento podem ser implementados como um problema de propagação para a frente, em que a diferença entre quadros pode ser modelada como a mistura de duas distribuições Gaussianas. Contudo, este modelo não é capaz de gerir os casos em que o fundo da cena tem textura significativa junto aos contornos dos objectos, mas é muito rápido. A filtragem de Kalman e suas variantes também têm sido utilizadas no seguimento do corpo humano. Assim, para resolver problemas relacionados com o desaparecimento de dados devido a oclusão, pode ser utilizada uma versão do filtro de Kalman estendido que é o filtro de Kalman estrutural previamente mencionado [Jang, 2002]. Este filtro utiliza a informação relativa entre regiões de um objecto em movimento, mas falha caso o modelo esteja ocluso logo no instante inicial. Em [Metaxas, 1993], o seguimento é realizado utilizando uma abordagem física, e através da diferença entre a imagem prevista e a imagem actual, são calculadas as forças a aplicar ao modelo. Esta dinâmica é modelada através de um filtro de Kalman estendido, que se revelou um estimador sofisticado e poderoso, mas quando a função de probabilidade difere muito da normal, os resultados podem ser catastróficos [Davison, 2001]. Os modelos de diferenciação temporal têm vindo a ser desenvolvidos para superar a necessidade da utilização de um filtro predictivo, como o filtro de Kalman, para obter um seguimento robusto. As derivadas temporais e a correspondência entre contornos pode ser combinada para a segmentação de regiões de objectos em movimento. O agrupamento de regiões pode ser utilizado para a segmentação de imagem, e a informação de cor para a anotação de regiões prováveis de pele do sujeito. Seguidamente, essas regiões podem ser seguidas através do seu centróide entre quadros. Em [J Gonzalez, 2003] é indicado um processo de seguimento das partes do movimento humano, que agrupa pontos da imagem com os mesmos movimentos rígidos, não sendo necessária a utilização de modelos articulados nem a sua inicialização. Já em [Kelly, 1995], são introduzidos voxels - conjuntos de elementos cúbicos contendo informação tal como a que objecto se refere o pixel em questão e a “história” desse mesmo objecto, sendo o movimento humano seguido como um grupo de voxels a partir do melhor ângulo de visão. Em [Mikic, 2003] a utilização de voxels Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 19 Introdução à Análise de Movimento usando Visão Computacional revelou-se como sendo uma forma robusta de seguimento, uma vez que permite grandes deslocamentos entre quadros. A informação de cor também tem sido utilizada no seguimento de pessoas. O método de contornos não requer iluminação homogénea, mas assume o contraste significativo entre a pessoa e o fundo da cena. O seguimento de contornos utilizando contornos activos é bastante comum e tem sido evidenciado em vários trabalhos como sendo um bom método de seguimento em tempo real. Por outro lado, nos modelos que utilizam informações prévias acerca do movimento humano, podemos encontrar os modelos cinemáticos que analisam o corpo humano em termos dos seus graus de liberdade. Um exemplo poderá ser encontrado em [Yamamoto, 1991] onde são empregues modelos cinemáticos, modelos geométricos e fluxo óptico para seguir o movimento do braço e do tronco humano. Por outro lado, quando comparando com os modelos cinemáticos, os modelos dinâmicos têm tido relativamente pouca atenção [J Wang, 2003]. A maioria dos projectos de seguimento utiliza modelos dinâmicos simples e genéricos, ou altamente específicos mas controlados manualmente. Por exemplo, em [Sidenbladh, 2003] é proposto um modelo probabilístico de aparência humana, baseado na aprendizagem de distribuições dos dados obtidos após a aplicação de filtros de imagem aos dados de treino, que pode ser utilizado mesmo em curtas sequências de imagens. Contudo, na metodologia proposta os modelos dinâmicos utilizados como são fortemente restringidos têm a sua aplicabilidade reduzida, e o sistema evolui lentamente devido ao elevado número de partículas consideradas [Davison, 2001]. De facto, as abordagens biomecânicas têm sido criticadas pelas dificuldades inerentes à medição das dinâmicas de objectos complexos que envolvem um número elevado de massas, de binários aplicados e de forças de reacção; sendo assim difícil a redução da complexidade inerente ao modelo. Uma abordagem comum consiste na utilização do filtro de Kalman com modelos de Markov não observáveis. Os modelos de Markov não observáveis são utilizados para determinar a forma da pessoa num quadro, e o filtro de Kalman utiliza os dados obtidos pelos modelos de Markov não observáveis para seguir a pessoa, ao estimar uma caixa que limita a trajectória e prevendo a localização da pessoa ao longo da sequência de imagens. Por exemplo, em [Marroquin, 2003] é exemplificado o uso de modelos de Markov não observáveis para a segmentação de imagens complexas. Os modelos deformáveis articulados utilizam frequentemente o fluxo óptico [J Wang, 2003]. Um modelo deformável baseado em regiões pode ser construído a partir de um modelo deformável baseado em contornos, e a sua utilização conjunta poderá fazer o seguimento do movimento humano. A delimitação da região de interesse é inicializada por um algoritmo de segmentação baseada na detecção de movimento, e é seguida por um modelo deformável novo da região que explora os dados obtidos pela textura da região. O uso de um modelo deformável de regiões, baseado na textura, permite o seguimento quando existem grandes deslocamentos ou fundos complexos, e é robusto à oclusão parcial, [J Wang, 2003]. Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 20 Introdução à Análise de Movimento usando Visão Computacional Os contornos, sendo características de nível mais elevado do que os pontos, reduzem a possibilidade de falsos emparelhamentos existente nos modelos esqueletizados. O uso de contornos para representar o corpo humano, está directamente relacionado com a sua projecção nas imagens. Os modelos de contorno 2D utilizados para o seguimento humano geralmente são são do tipo laço (ribbons) 2D. O modelo básico de laços 2D delimita as relações estruturais e de forma entre as partes do corpo, e é constituído por cinco laços com forma de “U”, sete juntas (articulações) e vários pontos médios dos segmentos. Nos laços as articulações estão localizadas entre os elementos ligados ou próximos [J Wang, 2003]. Por vezes o contorno de uma pessoa pode ser suficiente para fazer o seu seguimento; mas só funcionará correctamente, caso as poses e as perspectivas envolvidas estejam suficientemente bem representadas no conjunto de treino utilizado. Por sua vez, os modelos volumétricos, tais como cones generalizados, cilindros elípticos e esferas, requerem um elevado número de parâmetros de modelação. Nos modelos volumétricos, uma das técnicas mais comuns é a utilização de cilindros elípticos para a modelação 3D do corpo humano [J Wang, 2003]. O modelo de cilindros, também pode ser utilizado para modelar objectos articulados que se auto-ocludem, tais como os dedos humanos. Outros modelos volumétricos, assim como modelos esféricos, também podem ser utilizados; por exemplo, em [O'rourke, 1980] são utilizadas seiscentas esferas que se sobrepõem para definir um corpo humano cujo esqueleto é representado por vinte e cinco segmentos [Aggarwal, 1999]. Modelos esqueletizados também podem ser utilizados para fazer a modelação do movimento humano. A representação por esqueletos, é baseada na observação de que o movimento humano é essencialmente devido ao movimento do seu esqueleto, sendo este o modo mais simples de representação. Este modelo consiste num conjunto de segmentos de recta unidos por juntas, cujo movimento permite estimar o movimento e reconhecer o comportamento de figura inteira (corpo inteiro). Este conceito foi inicialmente proposto em [Johansson, 1975] que demonstrou que os olhos humanos podem interpretar um sujeito em movimento, tal como na estrutura com dispositivos de luzes em movimento, no qual um conjunto de luzes estáticas não tem significado, enquanto o seu movimento relativo cria a impressão de uma pessoa a andar, correr, dançar, etc. Entretanto já surgiram outras variações deste modelo [J Wang, 2003]. Em geral, a estrutura do corpo é modelada por seis juntas que se encaixam numa silhueta para minimizar o ruído [J Wang, 2003]. Em [Huber, 1996] é proposta uma representação por modelos esqueletizados, onde as juntas estão ligadas por segmentos de recta com um certo grau de restrição que pode ser relaxado por “molas virtuais”. A utilização destes modelos é estável em diversas circunstâncias, e o custo computacional envolvido permite o seguimento em tempo real. A maioria das abordagens requer um modelo esqueletizado do corpo, mas também poderá ser feita a combinação destes modelos com modelos volumétricos, ou primitivas 3D [J Wang, 2003]. Contudo Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 21 Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 28 utilizada, por exemplo, para planear e simular cirurgias [Bro-Nielsen, 1996], planear radioterapia, realizar o seguimento do progresso de doenças, etc. Assim, por exemplo, ao recolher a forma e organização detalhada das estruturas anatómicas, o cirurgião pode planear uma abordagem óptima à estrutura objectivo. Do mesmo modo, em radioterapia, a imagem médica pode permitir o cálculo da dosagem de radiação a aplicar sobre um dado tumor, com os mais reduzidos efeitos colaterais sobre os tecidos saudáveis [Mcinerney, 1996]. As aplicações de análise de imagem médica são inúmeras. Por exemplo, em [Claridge, 2003] através de análise de imagem médica, é proposto um modelo baseado em princípios físicos da coloração dos tecidos que providencia o cruzamento de dados entre as cores da imagem e os parâmetros histológicos subjacentes. Com este modelo representativo de todas as cores normais de pele, independentemente da origem racial, idade ou género, as cores anormais da pele, devido por exemplo a melanomas malignos, podem assim ser detectadas uma vez que não são conformes com o modelo. Outro exemplo pode ser encontrado em [Chabanas, 2003], onde é apresentado um modelo 3D por elementos finitos dos tecidos flácidos da face, que pode ser utilizado em cirurgia maxilo-facial para prever as deformações desses tecidos resultantes da reposição óssea. O referido modelo adapta-se automaticamente à morfologia do paciente através da pele e das superfícies cranianas segmentadas a partir de imagens médicas. De acordo com os autores, as modificações previstas são coerentes com os resultados previstos. Em [Hilger, 2003] é modelado a forma temporal e o tamanho das mandíbulas humanas para efeitos de análise, de simulação e de predição que ajudam à compreensão do crescimento craniofacial. Em [Cocosco, 2003], é proposto um método de classificação de tecidos cerebrais representados em imagens obtidas por ressonância magnética. O método é inteiramente automático e robusto relativamente a variabilidades anatómicas e patológicas. Este trabalho auxilia a pesquisa e os estudos clínicos de cérebros humanos, permitindo a análise quantitativa do volume de tecido em populações saudáveis ou não. Em [Paling, 2004] é exemplificado o uso de uma técnica de análise de imagem médica para estudar as atrofias cerebrais. A técnica de análise utilizada mostra-se robusta e precisa, podendo constituir uma ferramenta valiosa em futuros estudos de demência e perturbações neuro-degenarativas relacionadas. Contudo, ainda que os dispositivos de imagem médica providenciem imagens excepcionais da anatomia humana, o uso de computadores para quantificar e analisar as estruturas representadas com exactidão e eficiência é ainda algo limitado [Mcinerney, 1996]. Para apoiar as investigações biomédicas e actividades clínicas do diagnóstico à cirurgia, é necessário extrair de forma eficiente dados precisos, quantitativos e repetitivos. Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 29 3.1 Segmentação em Imagem Médica A segmentação de estruturas anatómicas – a classificação de conjunto original de pixels da imagem em subconjuntos correspondentes a essas estruturas – é uma das primeiras tarefas essenciais na análise de imagem médica. Contudo, segmentar estruturas de imagens médicas e reconstruir representações compactas dessas estruturas, é um processo difícil devido ao reduzido tamanho das bases de dados existentes e à complexidade e variabilidade das formas anatómicas de interesse. Além destas dificuldades podem ainda surgir outros inconvenientes como a existência de ruído. À semelhança da análise de imagem genérica, na análise de imagem médica o principal desafio consiste em extrair elementos de fronteira que pertencem à mesma estrutura e eventualmente integra-los adequadamente num modelo consistente e coerente para a estrutura. Um exemplo primário será a segmentação do coração, especialmente do ventrículo esquerdo, que constitui um pré-requisito para obter informações como a razão de volume ventricular ou o output cardíaco. A maioria da segmentação clínica é efectuada por edição manual [Mcinerney, 1996], como por exemplo a medição da forma e de volumes 3D através da análise individual de cada corte (slice), o que levanta muitas contrariedades como a dificuldade de obter resultados que possam ser reproduzidos ou própria a fadiga do operador. A automatização das abordagens manuais sem a utilização de modelos é difícil pela complexidade e variabilidade da forma das estruturas entre indivíduos. Assim, devido ao problema da segmentação usualmente apresentar poucas restrições, fica comprometida a eficácia de abordagens que consideram apenas informação do tipo local. Para superar estas dificuldades, geralmente são utilizados modelos deformáveis que podem contemplar informação prévia sobre a forma do objecto e assim restringir, ou seja simplificar, o problema de segmentação [Mcinerney, 1996]. Estes modelos geométricos, contínuos e interligados, consideram a fronteira de um objecto como um todo, e a sua continuidade e suavidade pode compensar o ruído, fendas e outras irregularidades presentes nas fronteiras dos objectos, [Tavares, 2000]. Os modelos deformáveis são uma das técnicas capazes de assimilar a variabilidade de estruturas biológicas ao longo do tempo, e entre vários indivíduos, e como tal são muito utilizados. Por exemplo, os modelos deformáveis podem ser empregues em imagens geradas por raio-X, por tomografia computorizada, por ressonância magnética ou por ultrasons. Quer sejam 2D ou 3D, os modelos deformáveis têm sido utilizados para segmentar, visualizar, seguir e quantificar uma grande variedade de estruturas anatómicas, que em escala podem variar entre macroscópicas e microscópicas. Estas incluem o cérebro, o coração, as artérias coronárias, o fígado, os pulmões, o estômago, os rins, objectos como tumores cerebrais, fetos, estruturas celulares como neurónios ou cromossomas, ou até partes de células, como em [Bamford, 1998] onde são segmentados núcleos de células. Os modelos deformáveis têm também sido utilizados, por exemplo, no seguimento do movimento não rígido do coração ou no movimento de eritrócitos, na localização de estruturas do cérebro e no registo de imagens da retina [Mcinerney, 1996]. Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 30 A utilização de modelos deformáveis em análise de imagem médica foi inicializada através da aplicação de modelos de contorno deformável, tais como snakes [Kass, 1988] para segmentar estruturas em imagens, ver por exemplo [Cohen, 1993], [Maurincomme, 1993], [Kapur, 1996], [Fishman, 1996], tendo evoluído com a utilização de modelos de superfícies deformáveis, ver por exemplo [Nastar, 1996]. Usualmente o modelo deformável é inicializado próximo do objecto que se pretende segmentar. Para tal, utilizam-se as capacidades interactivas destes modelos ao afiná-los, geralmente, manualmente (para verificar um estudo detalhado sobre a interacção na segmentação de imagens médicas ver [Olabarriaga, 2001]). Quando o resultado obtido numa imagem inicial for satisfatório, poder-se-á utilizar o modelo ajustado como a aproximação inicial da imagem seguinte da sequência [Tavares, 2000]. Um exemplo desta metodologia pode ser encontrado em [Bruijne, 2004], onde é realizada a segmentação interactiva de aneurismas aórticos abdominais. Alguns investigadores têm incorporado informação acerca da forma do objecto nos modelos deformáveis através da utilização de protótipos deformáveis, tendo sido implementadas com sucesso em muitas aplicações de interpretação automática de imagens [Mcinerney, 1996]. Uns dos exemplos de protótipo utilizado são as superquadráticas, ver por exemplo [Metaxas, 1993], em que o modelo se deforma global e localmente através da utilização das equações de Lagrange e filtragem de Kalman. Ainda que amplamente utilizadas as snakes e outros modelos deformáveis similares, apresentam algumas limitações na extracção de regiões de interesse em imagem médica. Por exemplo, em aplicações não interactivas, os modelos deformáveis devem ser inicializados próximos da estrutura no sentido de se garantir um bom desempenho; ou, no caso das snakes, as restrições de energia podem limitar a flexibilidade geométrica e assim impedir protrusões significativas. Também a topologia da estrutura a segmentar deve ser conhecida e constante, uma vez que os modelos de contorno clássicos são paramétricos e sem mecanismos adicionais são incapazes de transformações topológicas [Tavares, 2000]. Para melhorar e automatizar a segmentação via contornos deformáveis têm vindo a ser propostos vários métodos [Tavares, 2000]. Por exemplo, em [Cohen, 1991] é utilizada uma força interna de inflação que diminui a sensibilidade do contorno deformável à inicialização e ao ruído. Com o mesmo propósito em [Herlin, 1992] é proposta a incorporação de informação regional. Já em [Grzeszczuk, 1997] é utilizado um algoritmo para obter soluções globais de minimização da energia, que permite a consideração de restrições não diferenciáveis. Com o mesmo propósito, em [Delagnes, 1995] é proposta a utilização de contornos activos poligonais no caso de segmentação de imagens com fundos complexos, e que permite a aproximação de objectos mesmo constituídos por um número elevado de vértices. Em [Sebastian, 2003] são conciliadas várias metodologias numa única abordagem para fazer a segmentação e registo ao longo do tempo dos ossos do carpo. No referido trabalho, são combinadas as vantagens dos modelos de contornos activos com o crescimento de regiões e métodos de competição local e global; através da implementação de uma evolução de curva numa região em crescimento a Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 31 partir de alguns pontos, sendo este crescimento controlado por uma competição entre regiões vizinhas. Assim podem ser superadas algumas das dificuldades resultantes das não uniformidade do tecido ósseo, da irregularidade da forma de alguns ossos, dos relativamente reduzidos espaços entre ossos quando comparados com a resolução das imagens captadas, assim como da presença de vários vasos sanguíneos. Em [Keserci, 2002] é apresentado um esquema de diagnóstico computorizado para a detecção automática de nódulos pulmonares em radiografias digitais do peito. O esquema proposto sugere a utilização em paralelo de dois processos: Um dos processos será a filtragem adaptativa para realçar os nódulos e suprimir as estruturas pulmonares normais, seguido da convencional extracção de características morfológicas. O outro processo consiste na utilização de contornos activos baseados em ondinhas (wavelet snakes) no sentido de aproximar a fronteira dos nódulos. Finalmente, é realizada a combinação dos resultados obtidos por cada um dos processos através da utilização de uma rede neuronal. Com este esquema faz-se a redução eficiente dos falsos-positivos após a selecção inicial de candidatos a nódulos. Em [Mcinerney, 2002] é introduzida uma abordagem para análise de imagem médica que combina as metodologias de modelos deformáveis com conceitos de inteligência artificial. Em particular, são propostos organismos artificias deformáveis; isto é, agentes deformáveis cuja função é a de automaticamente segmentar, etiquetar e analisar qualitativamente estruturas anatómicas em imagens médicas. Esses organismos possuem corpos deformáveis com sensores distribuídos, assim como cérebros rudimentares, e centros de percepção, de comportamento e cognitivos. Os seus comportamentos, que se manifestam voluntariamente através do movimento e alteração da forma do seu corpo, são baseados nas características das imagens, nos conhecimentos anatómicos préarmazenados e num plano cognitivo deliberado. Com a referida técnica, é ultrapassado o ruído, a existência de orlas incompletas, as variações anatómicas consideráveis e a interferência entre estruturas colaterais. Outra solução pode ser a incorporação prévia de informação sobre os objectos em causa nos modelos deformáveis segundo uma abordagem probabilística. Por exemplo, em [Cootes, 1994] é apresentada uma abordagem estatística para segmentar vários órgãos a partir de imagens médicas 2D e 3D. Também em [Chesnaud, 1999] é utilizada uma abordagem estatística para segmentar regiões. Outro exemplo poderá ser encontrado em [Shen, 2004], onde é apresentada uma metodologia para a construção de um atlas estatístico da distribuição espacial do cancro da próstata, que foi optimizado para as biopsias com agulha. Na referida metodologia, é utilizado um modelo deformável adaptativo para a normalização espacial e registo de amostras. Baseado no atlas construído, foi desenvolvido um modelo predictivo estatístico para maximizar a probabilidade de detecção de cancro da próstata quando é realizada a biopsia por agulhas. Também em [Rapantzikos, 2003] é utilizado um histograma equalizador adaptativo modificado para extrair informação útil de imagens da retina, no sentido de Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 32 detectar e quantificar as anormalidades da retina, como depósitos esbranquiçados/amarelados, que antecedem doenças degenerativas da mesma. Já em [Trattner, 2004], é apresentado o desenvolvimento de uma ferramenta automática para a identificação de tipos de dados microbiológicos recorrendo à visão computacional e a técnicas de modelação estatística. Com o trabalho desenvolvido, pretendeu-se evitar a análise humana dos resultados da infecção de bactérias por vírus, associada a um elevado dispêndio de tempo e sujeita a vários erros, especialmente quando a tecnologia está a permitir o considerável aumento do número de testes a realizar. Na análise de imagem médica podem ser utilizadas outras técnicas além das anteriormente indicadas. Por exemplo, em [Heneghan, 2002] é proposta a segmentação das estruturas vasculares da retina através de técnicas de análise de imagem, como o pré-processamento morfológico, derivação, filtragem morfológica e binarização. A abordagem proposta, possibilita a identificação de pontos de cruzamento de vasos sanguíneos, cálculo da sua espessura e índice de tortuosidade. A segmentação das referidas estruturas é útil na detecção de doenças da retina, uma vez que algumas dessas doenças são caracterizadas pela alteração dos vasos retinais; por exemplo, pela tortuosidade ou dilatação excessiva. Também em [Kondo, 2004] são utilizadas técnicas de processamento de imagem para obter a segmentação de dentes, a partir de representações digitalizadas de um modelo de estudo da dentição, para posteriormente a informação obtida ser utilizada em procedimentos ortodônticos. 3.2 Análise e Seguimento em Imagem Médica Para realizar a análise e seguimento de objectos em imagem médica é também usual a utilização de modelos deformáveis [Mcinerney, 1996]. Por exemplo, os modelos deformáveis são utilizados para seguir estruturas não rígidas em movimento, tanto a nível microscópico como a nível macroscópico, tais como células sanguíneas [Leymarie, 1993]. Contudo, a utilização primária de modelos deformáveis para o seguimento em imagem médica tem sido na medição do comportamento dinâmico do coração humano, especialmente o ventrículo esquerdo, veja-se por exemplo [Pentland, 1991] ou [Nastar, 1994]. A caracterização das regiões da parede do coração é necessária para determinar a severidade e extensão de doenças como a isquemia [Mcinerney, 1996]. A obtenção de imagens 3D do coração ao longo do tempo é actualmente possível através de ressonância magnética e outras técnicas de aquisição de imagem, sendo a resolução espacial e temporal bastante satisfatória [Tavares, 2000]. Nas abordagens mais simples, é geralmente utilizado um modelo de contorno 2D deformável para segmentar a fronteira do ventrículo esquerdo em cada fatia (slice) de uma imagem inicial 3D [Tavares, 2000]. Esses contornos são depois utilizados como aproximação inicial das fronteiras do ventrículo esquerdo nas correspondentes fatias da imagem 3D no instante seguinte. Seguidamente, esses contornos são deformados de modo a extrair o novo conjunto de fronteiras do ventrículo esquerdo. Esta abordagem é utilizada por exemplo em [Herlin, 1992]. A propagação temporal dos contornos Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 33 deformáveis diminui drasticamente o tempo de segmentação manual do ventrículo esquerdo a partir de imagens 3D obtidas ao longo de um ciclo cardíaco [Tavares, 2000]. A extensão do trabalho desenvolvido na área da análise de imagem médica é comprovada pela diversidade de abordagens utilizadas. Por exemplo, em [Chen, 1998] é utilizado um modelo hierárquico do movimento do ventrículo esquerdo, construído por uma combinação de uma superquádrica globalmente deformável com uma superfície localmente deformável. Com este modelo é produzida uma decomposição hierárquica que caracteriza o movimento do ventrículo esquerdo, cuja resolução pode variar entre grosseira e fina [Tavares, 2000]. Outros exemplos podem ser encontrados, por exemplo, em [Nastar, 1996], onde são utilizados modelos deformáveis para seguir e recuperar o movimento do ventrículo esquerdo, e análise modal para parametrizar os modelos. Essa parametrização é feita a partir dos modos de vibração em regime livre, sendo o detalhe obtido determinado pelo número de modos utilizados. Já em [Shechter, 2004], é apresentado um método para medir o movimento respiratório natural do coração a partir de angiogramas coronários. Para tal é utilizado um modelo paramétrico da respiração cardíaca que decompõe o campo de deslocamentos nas suas componentes cardíaca e respiratória. Como já foi anteriormente referido, existem algumas limitações associadas à utilização de modelos deformáveis, tais como a modelização separada das superfícies endocardíaca e epicárdica [Tavares, 2000]. No sentido de superar essa dificuldade em [Park, 1996] é desenvolvido um modelo que considera a natureza volumétrica da parede do coração e que incorpora a parametrização descritiva directamente na sua formulação [Tavares, 2000]. Também nesse âmbito, em [Donnell, 1995] é utilizado um modelo híbrido e volumétrico para analisar e comparar o ventrículo esquerdo [Tavares, 2000]. Conforme mencionado anteriormente, a análise de imagem médica tem diversas aplicações que não se limitam à análise do movimento do ventrículo esquerdo. Por exemplo em [Kita, 1996] é realizada a análise e seguimento de imagens do estômago obtidas por vários pontos de vista a partir de raios-X. A abordagem utilizada baseia-se em modelos deformáveis físicos, sendo extraídas as regiões de um objecto deformável a partir de imagens obtidas segundo diferentes perspectivas. Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 34 Bibliografia [Aggarwal, 1999] - J. Aggarwal, Q. Cai, Human Motion Analysis: A Review, Computer Vision and Image Understanding 73(3), 428/440, 1999 [Azarbayejani, 1996] - A. Azarbayejani, C. Wren, A. Pentland, Real-Time 3D Tracking of the Human Body, IMAGE'COM 96, Bordeaux, France, 1996 [Bamford, 1998] - P. Bamford, B. Lovell, Unsupervised Cell Nucleus Segmentation with Active Contours, Signal Processing 71, 203/213, 1998 [Baumberg, 1995] - A. Baumberg, PHD Thesis, Learning Deformable Models for Tracking Human Motion, School of Computer Studies, The University of Leeds, UK, 1995 [Bobick, 2001] - A. Bobick, J. Davis, The Recognition of Human Movement using Temporal Templates, IEEE Transactions on Pattern Analysis and Machine Intelligence 23(3), 2001 [Bodor, 2003] - R. Bodor, B. Jackson, O. Masoud, N. Papanikolopoulos, Image-Based Reconstruction for View-Independent Human Motion Recognition, Proceedings of the IEEE/RJS International Conference on Intelligent Robots and Systems, 2003 [Bregler, 1997] - C. Bregler, Learning and Recognizing Human Dynamics in Video Sequences, Proceedings IEEE Computer Vision and Pattern Recognition, San Juan, Puerto Rico, 1997 [Bregler, 1998] - C. Bregler, J. Malik, Tracking People with Twists and Exponential Maps, International Conference on Computer Vision and Pattern Recognition, 1998 [Bro-Nielsen, 1996] - M. Bro-Nielsen, Surgery Simulation using Fast Finite Elements, VBC'96 – 4th International Conference in Visualization in Biomedical Computing, HAMBURG, GERMANY, 1996 [Bruijne, 2004] - M. Bruijne, B. Ginneken, M. Viergever, W. Niessen, Interactive Segmentation of Abdominal Aortic Aneurysms in CTA Images, Medical Image Analysis 8(2), 127/138, 2004 [Cai, 1995] - Q. Cai, A. Mitiche, J. Aggarwal, Tracking Human Motion in an Indoor Environment, Proceedings 2nd. Intl. Conference on Image Processing, Washington D.C., 1995 [Cai, 1996] - Q. Cai, J. Aggarwal, Tracking Human Motion using Multiple Cameras, Proceedings of International Conference on Pattern Recognition, Vieena, 1996 [Campbell, 1995] - L. Campbell, A. Bobick, Recognition of Human Body Motion Using Phase Space Constraints, International Conference on Computer Vision, Cambridge, Massachusetts, 1995 [Chabanas, 2003] - M. Chabanas, V. Luboz, Y. Payan, Patient Specific Finite Element Model of the Face Soft Tissues for Computer-Assisted Maxillofacial Surgery, Medical Image Analysis 7(2), 131/151, 2003 [Cham, 1999] - T. Cham, J. Rehg, Multiple Hypothesis Approach to Figure Tracking, Conference on Computer Vision and Pattern Recognition, Fort Collins, USA, 1999 Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 35 [Chen, 1998] - C. W. Chen, T.S. Huang, M. Arrott, Modeling, Analysis, and Visualization of Left Ventricle Shape and Motion by Hierarchical Decomposition, IEEE Deformable Models In Medical Image Analysis, 1998 [Chesnaud, 1999] - C. Chesnaud, P. Réfrégier, V. Boulet, Statistical Region Snake-Based Segmentation Adapted to Different Physical Noise Model, IEEE Transactions on Pattern Analysis and Machine Intelligence 21(11), 1999 [Chomat, 1998] - O. Chomat, J. Crowley, Recognizing Motion using Local Appearance, International Symposium on Intelligent Robotic Systems, University of Edinburgh, 1998 [Christensen, 1997] - C. Christensen, S. Corneliussen, Visualization of Human Motion using Modelbased Vision, Denmark, Laboratory of Image Analysis, Aalborg University, 1997 [Claridge, 2003] - E. Claridge, S. Cotton, P. Hall, M. Moncrieff, From Colour to Tissue Histology: Physics-based Interpretation of Images of Pigmented Skin Lesions, Medical Image Analysis 7(4), 489/502, 2003 [Cocosco, 2003] - C. Cocosco, A. Zijdenbos, A. Evans, A Fully Automatic and Robust Brain MRI Tissue Classification Method, Medical Image Analysis 7, 513/527, 2003 [Cohen, 1991] - L. Cohen, Note on Active Contour Models and Balloons, CVGIP: Image Understanding 53(2), 211/218, 1991 [Cohen, 1993] - L. Cohen, I. Cohen, Finite Elements for Active Contour Models and Ballons for 2D and 3-D Images, IEEE Transactions on Pattern Analysis and Machine Intelligence 15(11), 1131/1147, 1993 [Cootes, 1992] - T. Cootes, C. Taylor, Active Shape Models: Smart Snakes, British Machine Vision Conference, 1992 [Cootes, 1994] - T. Cootes, A. Hill, C. Taylor, J. Haslam, The use of active shape models for locating structures in Medical Images, Image and Vision Computing 12(6), 355/366, 1994 [Cootes, 1995] - T. Cootes, C. Taylor, D. Cooper, J. Graham, Active Shape Models - Their Training and Applications, Computer Vision Image Understanding 61, 38/59, 1995 [Correia, 1995] - M. Correia, Dissertação de Mestrado, Análise de Movimento em Sequências de Imagens, Faculdade de Engenharia, Universidade do Porto, 1995 [Correia, 2001] - M. Correia, Tese de Doutoramento, Técnicas Computacionais na Percepção Visual do Movimento, Faculdade de Engenharia, Universidade do Porto, 2001 [Cucchiara, 2000] - R. Cucchiara, C. Grana, M. Piccardi, A. Prati, Statistic and Knowledge-based Moving Object Detection in Traffic Scenes, Proceedings of the 3rd IEEE Conference on Intelligent Transportation Systems (ITSC2000),, Dearborn, Indiana, USA, 2000 [D Lee, 2000] - D. Lee, S. Jung, An approach to Image-Based Motion Retargeting,, Avatars 2000, Lausanne, Switzerland, 2000 Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 36 [D Shen, 2004] - D. Shen, Z. Lao, J. Zeng, W. Zhang, I. Sesterhenn, L. Sun, J. Moul, E. Herskovits, G. Fichtinger, C. Davatzikos, Optimized Prostate Biopsy via a Statistical Atlas of Cancer Spatial Distribution, Medical Image Analysis 8, 139/150, 2004 [Darrell, 1994] - T. Darrell, P. Maes, B. Baumberg, A. Pentland, A novel Environment for Situated Vision and Behaviour, Workshop for Visual Behaviours at CVPR-94, 1994 [David, 2004] - P. David, D. Dementhon, R. Duraiswami, H. Samet, SoftPOSIT: Simultaneous Pose and Correspondence Determination, International Journal of Computer Vision 59(3), 259 /284, 2004 [Davis, 1997] - J. Davis, A. Bobick, The Representation and Recognition of Human Movement using Temporal Templates, CVPR, 1997 [Davis, 1999] - J. Davis, G. Bradski, Real-time Motion Template Gradients using Intel CVLib, IEEE ICCV Workshop on Frame-rate Vision, 1999 [Davison, 2001] - A. Davison, J. Deutscher, I. Reid, Markerless motion Capture of Complex FullBody Movement for Character Animation, Manchester, 2001 [Delagnes, 1995] - P. Delagnes, J. Benois, D. Barba, Active Contours Approach to Object Tracking in Image Sequences with Complex Background, Pattern Recognition Letters 16, 171/178, 1995 [Deutscher, 1999] - J. Deutscher, A. Blake, B. North, B. Bascle, Tracking through Singularities and Discontinuities by Random Sampling, 7th. Conference on Computer Vision, 1999 [Deutscher, 2001] - J. Deutscher, A. Davison, I. Reid, Automatic Partitioning of High Dimensional Search Spaces associated with Articulated Body Motion Capture, Proceedings IEEE Conference on Computer Vision and Pattern Recognition, Kauai, 2001 [Donnell, 1995] - T. Donnell, A. Grupta, T. Boult, The Hybrid Volumetric Ventriculoid: A Model For Mr-Spamm 3-D Analysis, IEEE Deformable Models In Medical Image Analysis, 1995 [Essa, 1995] - I. Essa, A. Pentland, Facial Expression Recognition using a Dynamic Model and Motion Energy, Proceedings of the Fifth International Conference on Computer Vision, 1995 [Feldman, 2003] - A. Feldman, T. Balch, Automatic Identification of Bee Movement Using Human Trainable Models of Behaviour, Mathematics and Algorithms of Social Insects, 2003 [Fishman, 1996] - E. Fishman, B. Kuszyk, L. Gao, B. Cabral, Surgical Planning for Liver Resection, IEEE Transactions on Visualization and Computer Graphics 29(1), 1996 [Franke, 1998] - U. Franke, D. Gavrila, S. Görzig, F. Lindner, F. Paetzold, C. Wöhler, Autonomous Driving Goes Downtown, IEEE Intelligent Systems 13(6), 40/48, 1998 Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 37 [Fua, 2000] - P. Fua, L. Herda, R. Plaenkers, R. Boulic, Human Shape and Motion Recovery Using Animation Models, 19th Congress, International Society for Photogrammetry and Remote Sensing, Amsterdam, Netherlands, 2000 [Garcés, 1999] - D. Garcés, Body Silhouette Extraction from Video Sequences, Computer Graphics Laboratory (LIG), Lausanne, Switzerland, 1999 [Gavrila, 1996] - D. Gavrila, L. Davis, 3D Model-Based Tracking of Humans in Action: A multiview Approach, IEEE Conference on Computer Vision and Pattern Recognition,, San Fransisco, USA, 1996 [Gavrila, 1999] - D. Gavrila, The Visual Analysis of Human Movement: A Survey, Computer Vision and Image Understanding 73(1), 1999 [Georgescu, 2004] - B. Georgescu, P. Meer, Point Matching under Large Image Deformations and Illumination Changes, IEEE Transactions on Pattern Analysis and Machine Intelligence 26(6), 2004 [Gleicher, 1999] - M. Gleicher, Animation From Observation: Motion Capture and Motion Editing, ACM SIGGRAPH Applications of Computer Vision to Computer Graphics 33(4), 1999 [Goncalves, 1998] - L. Goncalves, E. Bernardo, P. Perona, Reach out and touch Space (Motion Learning), International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 [Grzeszczuk, 1997] - R. Grzeszczuk, D. Levin, Brownian Strings: Segmenting Images With Stochastically Deformable Contours, IEEE Transactions On Pattern Analysis And Machine Intelligence 19(10), 1997 [Gu, 1994] - H. Gu, Y. Shirai, M. Asada, MDL-Based Spatiotemporal Segmentation from Motion in a Long Image Sequence, Computer Vision and Pattern Recognition, 1994 [Han, 2004] - M. Han, T. Kanade, Reconstruction of a Scene with Multiple Linearly Moving Objects, International Journal of Computer Vision 59(3), 2004 [Hanek, 2004] - R. Hanek, M. Beetz, The Contracting Curve Density Algorithm: Fitting Parametrc Curve Models to Image using Local Self-Adapting Separation Criteria, International Journal of Computer Vision 59(3), 233/258, 2004 [Haritaoglu, 1998] - I. Haritaoglu, D. Harwood, L. Davis, W4: Who? When? Where? What? - A real Time System for Detecting and Tracking Peolple, International Conference on Automatic Face and Gesture Recognition, Nara, Japan, 1998 [Heneghan, 2002] - C. Heneghan, J. Flynn, M. O'keefe, M. Cahill, Characterization of Changes in Blood Vessel Width and Tortuosity in Retinopathy of Prematurity using Image Analysis, Medical Image Analysis 6(4), 407/429, 2002 Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 44 [Stauffer, 1999] - C. Stauffer, W. Grimson, Adaptive Background Mixture Models for Real-time Tracking, Computer Vision and Pattern Recognition, 2246/2252, 1999 [Tavares, 1995] - J. Tavares, Dissertação de Mestrado, Obtenção de Estrutura Tridimensional a partir de Movimento de Câmara, Faculdade de Engenharia, Universidade do Porto, 1995 [Tavares, 2000] - J. Tavares, Tese de Doutoramento, Análise de Movimento de Corpos Deformáveis usando Visão Computacional, Faculdade de Engenharia, Universidade do Porto, 2000 [Thalmann, 1996] - D. Thalmann, J. Shen, E. Chauvineau, Fast Realistic Human Body Deformations for Animation and VR Applications, Computer Graphics International, Pohang, Korea, 1996 [Tominaga, 2002] - M. Tominaga, H. Hongo, H. Koshimizu, Y. Niwa, K. Yamamoto, Estimation of human motion from multiple cameras for gesture recognition, Proceedings 16th International Conference on Pattern Recognition, 2002 [Trattner, 2004] - S. Trattner, H. Greenspan, G. Tepper, S. Abboud, Automatic Identification of Bacterial Types using Statistical Imaging Methods, IEEE Transactions on Medical Imaging 23(7), 807/820, 2004 [Watta, 2000] - P. Watta, N. Gandhi, S. Lakshmanan, An eigenface approach for estimating driver pose, Proceedings IEEE Intelligent Transportation Systems, 2000 [Wren, 1997] - C. Wren, A. Azarbayejani, T. Darrell, A. Pentland, Pfinder: Real-Time Tracking of the Human Body, IEEE Transactions on Pattern Analysis and Machine Intelligence 19(7), 1997 [X Wang, 2004] - X. Wang, L. He, W. Wee, Deformable Contour Method: A Constrained Optimization Approach, International Journal of Computer Vision 59(1), 87/108, 2004 [Xie, 2004] - X. Xie, M. Mirmehdi, RAGS: Region-Aided Geometric Snake, IEEE Transactions on Image Processing 13(5), 2004 [Yamaguchi, 2003] - N. Yamaguchi, H. Mizoguchi, Robot vision to recognize both face and object for human-robot ball playing, IEEE/ASME International Conference on Advanced Intelligent Mechatronics, 2003 [Yamamoto, 1991] - M. Yamamoto, K. Koshikawa, Human Motion Analysis Based on a Robot Arm Model, Conference on Computer Vision and Pattern Recognition, 1991 [Yin, 2001] - X. Yin, M. Xie, Hand Gesture Segmentation, Recognition and Application, Proceedings 2001 IEEE International Symposium on Computational Intelligence in Robotics and Automation, 2001 [Zaritsky, 2003] - R. Zaritsky, N. Peterfreund, N. Shimkin, Velocity-Guided Tracking of Deformable Contours in Three Dimensional Space, International Journal of Computer Vision 51(3), 219/238, 2003 Introdução à Análise de Movimento usando Visão Computacional Raquel Ramos Pinho, João Manuel R. S. Tavares, Miguel F. P. Velhote Correia, 45 [Zheng, 1998] - J. Zheng, S. Suezaki, A Model Based Approach in Extracting and Generating Human Motion, International Conference in Pattern Recognition, 1998