Análise de texto é sobre extrair informação.

Text mining é o processo de analisar um texto desestruturado, extrair informação relevante e transformá-la em estruturada de forma que possa ser aproveitada de diversas formas (Hurwitz et al. 2016).

The practice of text mining is aimed at undestanding and applying insights from the most complex analytical processing system in the universe - the human brain - to the analysis of written language.

• Quando lemos um livro, recordamos das sensações mas não da prosa.
• Tratamos a informação de texto na sociedade assim também.
• Somos sensores sobre o mundo e registramos o que percebemos com texto.
• Acredita-se que a informação em texto sobre o mundo hoje é tão rica que as máquinas poderiam dominar o mundo.

Opinião do consumidor

• http://www.carrosnaweb.com.br/opiniaolista.asp.
• https://www.reclameaqui.com.br/.
• https://www.consumidor.gov.br/pages/indicador/relatos/abrir.
• http://www.macworld.co.uk/review/iphone/.

Descoberta de tópicos e tendências

• http://www1.folha.uol.com.br/mercado/.
• http://www.valor.com.br/opiniao.
• https://www.ncbi.nlm.nih.gov/pubmed.
• http://apps.webofknowledge.com/.
• http://www.sciencedirect.com/.
• http://cnpq.br/projetos-pesquisa.

Redes sociais

• https://twitter.com/search-advanced?lang=pt.

Oportunidades

• http://www.catho.com.br/vagas/pr/curitiba/.

Similaridade e agrupamento

• https://www.cifraclub.com.br/.
• http://www.tudogostoso.com.br/.

Modelagem preditiva

• http://www.infomoney.com.br/
• https://www.webmotors.com.br
• http://www.imovelweb.com.br/imoveis-curitiba-pr.html.

• Descoberta de ameaças terroristas.
• Mapear focos de dengue (UFMG) e demais problemas de saúde pública.
• Fornecer diagnóstico de doença pelo relato de caso (IBM Watson).
• Melhorar qualidade de produto pelo relato dos consumidores.
• Aproveitar conversas transcritas de telemarketing.
• Registros de call center.
• Estilo de escrita para aumentar sucesso no desfecho de petições/processos.
• Classificação de documentos para busca em biblioteca.

• Dados não estruturados = estrutura imprevisível.

• Análise lexical/morfológica: formas da palavra.
• Análise sintática: estrutura gramátical, criar contexto.
• Análise semântica: determinar significado, eliminar ambiguidades.
• Análise do âmbito do discuso: significado além do discurso, inferência.
• É uma análise complexa que pode determinar: quem, o que, quanto onde e porquê.

• As frases são desfeitas.
• Cada palavra é um termo.
• Representa-se quantas vezes cada um ocorre no documento.
• Estrutura linguistica é ignorada.
• Apesar de simples, é muito robusta e útil.

• https://www.paperrater.com/.
• http://www.articlegeneratorpro.com/.
• http://articlegenerator.org.
• http://parts-of-speech.info/.
• https://iwl.me.
• http://textalyser.net/.

http://news-explorer.mybluemix.net/

• STATISTICA Text Miner.
• SAS Text Miner.
• IBM SPSS Text Analytics.
• Clarabridge.

Mais em list of text mining software.

Task Views

• Natural Language Processing
• Web Technologies and Services

Pacotes R

Como extrair ou consumir dados da Web?

• XML
• HTML
• JSON