Big data e os desafios da interoperabilidade semântica

IV Seminário do Grupo de Pesquisa MHTX – 2021 Universidade Federal de Minas Gerais (UFMG) | Escola de Ciência da Informação (ECI) BIG DATA E OS DESAFIOS DA INTEROPERABILIDADE SEMÂNTICA BIG DATA AND SEMANTIC INTEROPERABILITY CHALLENGES José Eduardo Santarem Segundo, Universidade de São Paulo (USP) santar[email protected] Resumo: O paradigma do Big Data por si só já apresenta um conjunto de desafios a serem observados em todos os contextos que envolvem análise de dados, desde a política de seleção dos dados, passando pela sua preparação e compreensão, processos de visualização, dados discriminatórios e enviesados, até custos que envolvem todo o processo, além da necessidade latente de mão de obra qualificada para lidar com o conjunto de dados. A interoperabilidade semântica, por si só, já traz consigo uma grande quantidade de desafios, dadas as necessidades de integração entre aplicações das mais variadas em busca de troca de dados, de forma consistente, com forte caracterização semântica e significado. O Big Data, em diversos cenários e contextos, apresenta-se como fator multiplicador, seja de bons resultados, seja de desafios a serem superados. Este texto apresenta um olhar sobre esse contexto, discutindo os desafios e as oportunidades para pesquisas que envolvam Big Data e interoperabilidade semântica. Palavras-chave: interoperabilidade semântica; big data; web semântica; ontologia; análise de dados. Abstract: The paradigm of Big Data in itself already presents a set of challenges to be observed in all contexts involving data analysis, from the data selection policy, through preparation and understanding of the data, visualization processes, discriminatory and biased data, costs involving the whole process, in addition to the latent need for skilled labor to handle with the data set. When we look at semantic interoperability, it also brings with it a lot of challenges, given the need for integration between applications of the most varied in search of data exchange, consistently, with strong semantic characterization and meaning. Big Data, in various scenarios and contexts, presents itself as a multiplying factor, either of good results or challenges to be overcome. This paper presents a look at this context, discussing the challenges and opportunities for research involving big data and semantic interoperability. Keywords: semantic interoperability; big data; semantic web; ontology; data analytics. 1 INTRODUÇÃO É importante contextualizar o cenário que se apresenta atualmente: um mundo totalmente conectado; as maiores empresas do mundo tendo dados como seu principal ativo; uma geração de dados que cresce em escala logarítmica; a internet cada vez chegando mais longe e a uma quantidade maior de pessoas; a tecnologia 5G avançando em muitos países; sensores dos mais variados (imagine quantos sensores seu celular tem), nos mais diversos dispositivos, produzindo uma avalanche de dados; necessidade latente de gerar conhecimento a partir dos dados gerados; necessidade de agregação de fontes diversas. Este cenário nos apresenta um contexto em que dados passaram a ser ativos importantes, mas o conhecimento gerado a partir deles é que pode ser transformador. Transformar dados em conhecimento é um grande desafio: é por meio de plataformas, agregações, pipelines de análise e processamento de dados, algoritmos de machine learning, integrações e outras variadas formas de estudo e desenvolvimento tecnológico que se torna possível transformar o dado bruto em conhecimento, para transformar o mundo e a vida das pessoas, um dos objetivos primordiais da ciência. Os dados são o novo Petróleo. É valioso, mas se não for refinado, não pode realmente ser usado. Tem que ser transformado em gás, plástico, produtos químicos etc. para criar uma entidade valiosa que impulsione atividades lucrativas; portanto, os dados devem ser decompostos, analisados para que tenham valor (HUMBY, 2006, p. 1). A cultura de conduzir processos orientados a dados é chamada de data-driven. Essa cultura tem estado cada dia mais presente em vários contextos e no cotidiano das pessoas: na propaganda que intercepta o usuário na rede social, na sugestão de filme na plataforma de streaming, na oferta de produtos e serviços por e-mail, na escalação de jogadores em um time de futebol, na aprovação de uma compra no cartão de crédito, e em muitas outras situações que às vezes nem são percebidas pelos usuários. Ao observar-se a cultura de dados no contexto científico, na pesquisa científica, na preocupação sobre compartilhamento e preservação de dados de pesquisa, na construção de ciência por meio de evidências baseadas em dados, temos um paradigma nomeado e-Science. De acordo com Jim Gray, o e-Science pode ser considerado o quarto paradigma da ciência. Os paradigmas anteriores são: a ciência empírica, baseada em observação; a ciência teórica, baseada em modelos matemáticos e generalizações; a ciência computacional, baseada em simulações computacionais e finalmente o e-Science (HEY; TANSLEY; TOLLE, 2009). A cultura de dados tem estado cada vez mais presente e tem-se intensificado pela ampliação das conexões em rede, pela evolução computacional em termos de processamento e melhoria de custos e, também, pela evolução nos procedimentos computacionais baseados em paralelização e computação distribuída. Essa evolução pauta o que podemos chamar de Quarta Revolução Industrial, caracterizada principalmente pela evolução dos algoritmos de inteligência artificial e do Big Data. Só é possível uma cultura de dados quando estão disponíveis ferramentas e técnicas que sejam capazes de processar esses dados e deles tirar proveito, descobrir padrões, gerar hipóteses, criar novos conhecimentos e tomar decisões que melhorem a vida das pessoas. Os algoritmos de machine learning passaram a ser protagonistas porque favoreceram esses tipos de análise, e só passaram a essa condição porque o arcabouço tecnológico e computacional evoluiu muito nos últimos anos, de forma que técnicas, que antes já existiam, mas que eram impossíveis de serem executadas por computadores comuns, agora são possíveis de serem realizadas. Mas os algoritmos de machine learning e o desenvolvimento da inteligência artificial evoluíram não apenas pelo desenvolvimento computacional. Os resultados que esses algoritmos têm conseguido estão pautados principalmente pela oferta generosa de dados, uma verdadeira enxurrada. Aliar bons algoritmos, competência de processamento e muitos dados foi a chave para que a cultura de dados se colocasse em evidência. 2 BIG DATA É notório que o Big Data acelerou a cultura de dados, porque melhorou os resultados obtidos pelos algoritmos de análise. Big Data é um conceito utilizado para descrever um paradigma com características não suportadas por estruturas tradicionais, servidores e softwares utilizados na maioria das organizações atualmente. Pode ser compreendido também como uma infinidade de informações, principalmente não estruturadas, que, quando usadas adequadamente, tornam-se uma arma poderosa em processos decisórios. O Big Data tem impactado todas as áreas do conhecimento. Existe uma forma bem simples de entender quando os dados deixam de ser algo do seu cotidiano e passam a ser efetivamente “Big Data”. É exatamente quando os dados disponíveis já não podem mais ser analisados ou processados pelos meios tradicionais de acesso a dados com os quais nos acostumamos nos últimos anos. É nesse momento que se experimenta o Big Data, quando já não é mais possível tratar os dados de forma amadora, ou com aquele software de planilha com o qual se está tão habituado. O conceito de Big Data relaciona-se à heterogeneidade, à rápida geração e processamento e à grande quantidade de dados disponíveis digitalmente. Esse fenômeno despontou de forma mais significativa a partir do início do século XXI, quando a quantidade de dispositivos e de usuários conectados apresentou um crescimento exponencial (MAYER-SCHÖNBERGER; CUKIER, 2013). A revolução do Big Data promete transformar a forma como vivemos, trabalhamos e pensamos, permitindo a otimização do processo, capacitando a descoberta de insights e melhorando a tomada de decisões. A realização desse grande potencial depende da capacidade de extrair valor desses dados massivos por meio da análise de dados (L’HEUREUX; GROLINGER; YAMANY; CAPRETZ, 2017). O principal objetivo dessa revolução é fazer uso de grandes quantidades de dados para permitir a descoberta de conhecimento e melhorar a tomada de decisões (MAYER-SCHÖNBERGER; CUKIER, 2013). O Big Data é caracterizado pela vertente dos 3 Vs: Volume: refere-se à quantidade de dados, a massa de dados. A quantidade de dados existente no mundo continua a aumentar em um ritmo sem precedentes. Os dados gerados pelos mais variados dispositivos vêm-se multiplicando constantemente. Variedade: refere-se à diversidade dos dados em estruturas diferentes, que são encontradas em diferentes repositórios de dados, desde bases de dados relacionais até fontes de textos com dados brutos. Nesses repositórios, podem-se encontrar diferentes tipos de dados, tais como imagens, vídeos, vozes e textos, que também são, geralmente, dados não estruturados. Velocidade: alta taxa de coleta e processamento de dados, que possibilita análises em tempo real, detecção de novos padrões em curto prazo e tomadas de decisões instantâneas, observando-se os resultados imediatos de uma ação. Além disso, diz respeito também à velocidade de resposta aos comandos dos usuários, via processamento dos dados de entrada por meio de algoritmos de decisão. Qualquer projeto que envolva um pipeline de processamento e análise de dados é dotado de desafios. Quando a origem de dados é um Big Data, todos os desafios passam a ser ainda maiores, com destaque para o impacto financeiro e computacional, que podem inviabilizar a continuidade do projeto. Há muitos projetos que poderiam ser elencados aqui, como um ambiente de agregação de dados de acervos culturais, um ambiente que integre dados de sensores baseados em IoT (Internet das Coisas), ou qualquer outro projeto que envolva a necessidade de integração de fontes diversas. Entre os desafios mais comuns encontrados em projetos de análise de dados, incluindo os que incluem Big Data, podemos citar: Seleção: identificar proveniência (e legalidade dela), identificar licenças que permitam processamento e consumo, estabelecer política para cultura de dados, determinar frequência de consumo dos dados, adequar-se às leis de proteção de dados pessoais, entre outros. Preparação e compreensão: identificar problemas que podem impactar os resultados, como: dados incompletos, redundantes, desbalanceados; resolver problemas de alta dimensionalidade; compreender quais são os atributos que são realmente necessários e que impactam nos processos de integração e nos resultados; conhecer as fontes originais para determinar qual o valor para cada atributo; entre outros. Combinação e enriquecimento: determinar correlação entre atributos e seu real significado, de forma a proceder os processos de enriquecimento semântico, possibilitando tanto a interoperabilidade sintática quanto a semântica, quando for o caso. Visualização: compreender como os dados devem ser apresentados, saber exatamente o que mostrar, como mostrar, reconhecer as melhores técnicas de visualização, conhecer escalas, saber o que é importante e principalmente conseguir apresentar resultados que possam ser compreendidos pelos usuários que vão consumir os dados, e que representem fielmente os resultados das análises. Dados discriminatórios e ética: em todas as partes de um projeto, deve-se atentar para dados que podem ser discriminatórios ou ter qualquer tipo de viés. É muito comum que bases de dados consolidadas favoreçam maiorias e discriminem minorias. Um pipeline de processamento baseado em machine learning tende sempre a potencializar as características de uma base de dados. É um grande desafio, que percorre todo o processo, identificar elementos que podem ser discriminatórios ou que atentem contra a ética. É possível elencar outros desafios, entretanto os apresentados são latentes e têm capacidade de incitar uma grande necessidade de pesquisas. 3 INTEROPERABILIDADE E INTEROPERABILIDADE SEMÂNTICA A interoperabilidade sempre parece um assunto resolvido e discutido, principalmente na Ciência da Informação, que lida e estuda seus princípios desde muito tempo, entretanto é notável que esse tema está longe de ser esgotado. Entre os conceitos mais utilizados de interoperabilidade, está o da International Organization for Standardization (ISO) de que a interoperabilidade é a habilidade de dois ou mais sistemas, que podem ser: computadores, meios de comunicação, redes de software e outros componentes de tecnologia de informação, de interagir e de trocar dados a partir de um método definido, objetivando obter os resultados esperados (ISO, 2017, p. 1). O estudo realizado por Santarem Segundo, Silva e Martins (2019, p. 67) indica que as questões de interoperabilidade básica, técnica e sintática ainda são problemas e desafios a serem superados, principalmente no âmbito da agregação e combinação de acervos e repositórios digitais. Uma parte significativa dos textos indica problemas sérios no uso de metadados, tanto na questão técnica quanto em sua semântica, inviabilizando processos de interoperabilidade. A interoperabilidade não está posicionada como uma prioridade clara e ainda não são consideradas partes significativas (ou potencialmente significativas) da infraestrutura das Bibliotecas Digitais (SANTAREM SEGUNDO; SILVA; MARTINS, 2019, p. 67). Arms (2002) indica que, para haver interoperabilidade, são necessários acordos de cooperação em três níveis: o nível técnico (que proporciona a interoperabilidade tecnológica); o nível de conteúdo (que remete à interoperabilidade semântica, na qual a representação e organização do conhecimento são áreas chave a serem estudadas) e o nível organizacional (que se refere à interoperabilidade política, quando organizações se reúnem com o intuito de alcançar a interoperabilidade, implementando padrões e tecnologias que cooperem com esse objetivo). É difícil pensar em interoperabilidade semântica quando ainda se têm problemas com interoperabilidade sintática, apesar de tecnicamente haver muitos sistemas contribuindo entre si com padrões já totalmente estabelecidos, como o OAI-PMH (Open Archives Initiative Protocol for Metadata Harvesting). A interoperabilidade semântica é a capacidade de sistemas distintos interpretarem e trocaram informações baseadas no significado dos dados, de acordo com o seu conteúdo, respeitando as características dos níveis mais baixos de interoperabilidade técnica, mas não se prendendo a recursos da interoperabilidade sintática. Portanto é totalmente necessário que haja clara definição de significados, com relação a linguagem e terminologias para que ocorra o processo de correlação. A interoperabilidade semântica tem princípios semelhantes aos da Web Semântica, como estruturação baseada em metadados e lógica formalizada a partir de vocabulários semânticos e ontologias. A interoperabilidade semântica ainda tem muitas barreiras e muitos desafios a serem superados para que sistemas sejam capazes de trocar informações baseadas em significado. Entre os desafios, há: dificuldades em relação à formalização de conceitos e usos de vocabulários compreensíveis; dificuldades em criar ontologias significativas; poucos estudos sobre os níveis de interoperabilidade semântica que se deseja obter, ou oferecer; falta de definição sobre níveis de granularidade e normalização de dados, além de clareza sobre domínios; entendimento de que o processo é diferente da interoperabilidade sintática. A heterogeneidade semântica é um problema comum a muitas áreas. Na interoperabilidade semântica, ele quem passa a ser um catalisador do problema, ampliando a necessidade de soluções técnicas que possam resolver também esse problema. Os estudos têm avançado para que seja possível e transparente um processo de interoperabilidade semântica, ambientes como Wikidata e outras fontes de recursos semânticos já usados no Linked Data podem potencializar a interoperabilidade semântica, entretanto ainda é necessário que os ambientes e as fontes de dados construam artefatos que possam caracterizar semanticamente seus objetos digitais e informações. As ontologias e middlewares construídos têm sido utilizados como elementos interlocutores para que a interoperabilidade semântica possa ocorrer. 4 CONSIDERAÇÕES FINAIS Como discutido aqui, é fato compreender que tanto a interoperabilidade semântica quanto os pipelines de dados que atuam com Big Data já são carregados de desafios, que ampliam a necessidade de estudos e pesquisas. Volume, velocidade e variedade são características que multiplicam os desafios e ampliam as necessidades de maior processamento e investimento financeiro. Para a interoperabilidade semântica, é de extrema urgência que se ampliem as pesquisas e os projetos que descrevam e desenvolvam ontologias e middlewares para realizar a interoperabilidade, e isso não é simples. Algumas áreas ainda patinam no desenvolvimento de ontologias. O Big Data é uma realidade, os pipelines de dados e os ambientes de agregação são cada vez mais necessários, entretanto esses ambientes também anseiam por interoperabilidade semântica. É certo que há uma avenida de oportunidades para desenvolvimento de pesquisas que envolvam interoperabilidade semântica, principalmente quando se pensa em agregação de dados oriundos do Big Data. REFERÊNCIAS ARMS, W. Y. Thoughts about interoperability in the NSDL: draft for discussion. [S. l.: s. n.], ago. 2002. Disponível em: http://www.cs.cornell.edu/wya/papers/NSDL-interop.doc. Acesso em: 04 nov. 2021. HEY, T.; TANSLEY, S.; TOLLE, K. Fourth Paradigm: data-intensive scientific discovery. [S. l.]: Microsoft, 2009. Disponível em: http://research.microsoft.com/en-us/collaboration/fourthparadigm/. Acesso em: 04 nov. 2021. HUMBY, C. Data is the new oil. [S. l.: s. n.], 2006. Disponível em: https://ana.blogs.com/maestros/2006/11/data_is_the_new.html. Acesso em: 04 nov. 2021. INTERNATIONAL ORGANIZATION FOR STANDARDIZATION. ISO/IEC 19941: information technology: cloud computing: interoperability and portability. [S. l.]: ISO, 2017. Disponível em: https://www.iso.org/obp/ui/en/#iso:std:iso-iec:19941:ed-1:v1:en. Acesso em: 21 jul. 2025. L’HEUREUX, A.; GROLINGER, K.; YAMANY, H. F. E.; CAPRETZ, M. Machine learning with Big Data: challenges and approaches. IEEE Acces, Apr. 2017. MAYER-SCHÖNBERGER, V.; CUKIER, K. Big data: a revolution that will transform how we live, work, and think. Boston: Houghton Mifflin Harcourt, 2013. SANTAREM SEGUNDO, J. E.; SILVA, M. F.; MARTINS, D. L. Revisitando a interoperabilidade no contexto dos acervos digitais. Informação & Sociedade: Estudos, [s. l.], v. 29, n. 2, 2019. Disponível em: https://periodicos.ufpb.br/index.php/ies/article/view/38107. Acesso em: 04 out. 2024.