Publicação: Geração e detecção de textos artificiais em redes sociais por meio de modelos de linguagem de grande escala
Carregando...
Arquivos
Tipo do documento
Data
Direito de acesso
Programa
Área do conhecimento
CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO, CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::METODOLOGIA E TECNICAS DA COMPUTACAO, CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO, CNPQ::CIENCIAS SOCIAIS APLICADAS::CIENCIA DA INFORMACAO
Título da Revista
ISSN da Revista
Título de Volume
Orientador
Coorientador
Resumo
A crescente utilização de Modelos de Linguagem de Grande Escala (LLMs), trouxe a necessidade de discussões e análises sobre seu impacto em plataformas digitais, como redes sociais, devido à dificuldade na distinção de conteúdos gerados por tais tecnologias. Este trabalho explora o uso de LLMs na simulação de interações humanas no ambiente digital, mais especificamente na plataforma X (antigo Twitter), e analisa a eficácia de detectores presentes na literatura na distinção de textos gerados pelos modelos selecionados, além de investigar como a utilização de personas pré-definidas influencia a estrutura dos textos e sua detecção com base em métricas linguísticas.
A metodologia deste trabalho envolve a coleta de publicações reais extraídas do X a partir de temas selecionados. Foram desenvolvidas personas que foram adotadas pelos modelos de linguagem para gerar comentários artificiais relacionados a cada postagem. A partir destes dados gerados, diversos detectores da literatura foram utilizados, resultando em análises relacionadas à eficácia tanto da geração, quanto da detecção dos comentários. Além destes testes, foram aplicadas métricas linguísticas para descobrir as similaridades estruturais dos textos sintéticos, dos textos originais do X e como a não utilização das personas afeta o resultado das métricas e detecções. A fim de automatizar o fluxo de trabalho, foi desenvolvida uma ferramenta web e alguns scripts que integram os processos do experimento.
Os resultados demonstraram que os LLMs conseguem, de forma satisfatória, replicar padrões de linguagem humana presentes em redes sociais, utilizando informalidade e variações linguísticas, tornando difícil a distinção entre texto real e gerado por IA. Detectores de IA se mostraram ferramentas relevantes para tal distinção. Além disso, foi possível observar que a utilização de personas e a variação dos parâmetros de geração influenciam de forma sutil a estrutura dos textos, assim como a complexidade de sua detecção. Tais resultados demonstram a evolução das técnicas de detecção a partir de diversos estilos de abordagem.
Este trabalho contribui para a compreensão das capacidades dos modelos de linguagem atuais e das ferramentas de detecção, além de ressaltar a necessidade contínua de avanços tecnológicos na área de detecção de conteúdo artificial devido a seus impactos éticos, sociais e culturais.
Abstract
The increasing use of Large Language Models (LLMs) has brought about the need for discussions and analyses regarding their impact on digital platforms, such as social networks, due to the difficulty in distinguishing content generated by such technologies. This work explores the use of LLMs in simulating human interactions in the digital environment, specifically on platform X (formerly Twitter), and analyzes the effectiveness of detectors found in the literature in distinguishing texts generated by the selected models, as well as investigating how the use of predefined personas influences the structure of the texts and their detection based on linguistic metrics.
The methodology of this work involves collecting real posts extracted from X based on selected topics. Personas were developed and adopted by the language models to generate artificial comments related to each post. From this generated data, various detectors from the literature were applied, resulting in analyses related to the effectiveness of both the generation and detection of the comments. In addition to these tests, linguistic metrics were applied to uncover structural similarities among synthetic texts, original texts from X, and how the absence of personas affects the outcome of the metrics and detections. To automate the workflow, a web tool and some scripts were developed to integrate the experimental processes.
The results demonstrated that LLMs are able to satisfactorily replicate human language patterns present on social networks, using informality and linguistic variations, making it difficult to distinguish between real and AI-generated text. AI detectors proved to be relevant tools for such distinction. Furthermore, it was observed that the use of personas and variation in generation parameters subtly influence the structure of the texts, as well as the complexity of their detection. These results demonstrate the evolution of detection techniques through various approaches.
This work contributes to the understanding of the capabilities of current language models and detection tools, as well as highlighting the continuous need for technological advances in the field of artificial content detection due to its ethical, social, and cultural impacts.
Palavras-chave
Modelos de linguagem de grande escala, Redes sociais, Detectores de texto de IA, Inteligência Artificial, Simulação de interações humanas, Large-Scale language models, Social media, AI Text detectors, Artificial Intelligence, Simulation of human interactions
Citação
LACERDA, Gabriel Vinícius Ramos de. Geração e detecção de textos artificiais em redes sociais por meio de modelos de linguagem de grande escala. 2025. 101 f. Trabalho de Conclusão de Curso (Graduação em Sistemas de Informação) – Universidade Federal de Uberlândia, Monte Carmelo, 2025.
DOI
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto