Entropia é uma noção que vem de uma palavra grega que pode ser traduzida como "retorno" ou "transformação" (usada figurativamente).

No século XIX, Clausius cunhou o conceito no campo da física para se referir a uma medida da desordem que pode ser vista nas moléculas de um gás. A partir daí, esse conceito seria usado com diferentes significados em várias ciências, como física, química, ciência da computação, matemática e lingüística .

Algumas definições são:

A entropia pode ser a quantidade física termodinâmica que nos permite medir a parte não utilizável da energia contida em um sistema . Isso significa que essa parte da energia não pode ser usada para produzir um trabalho.

Entende-se também que a entropia é a medida do distúrbio de um sistema . Nesse sentido, está associado a um grau de homogeneidade.

A entropia de formação de um composto químico é estabelecida medindo aquela que se ajusta a cada um de seus elementos constituintes. Quanto maior a entropia de formação, mais favorável será sua formação.

Na teoria da informação, a entropia é a medida da incerteza que existe antes de um conjunto de mensagens (das quais apenas uma será recebida). É uma medida da informação necessária para reduzir ou eliminar a incerteza.

Outra maneira de entender a entropia é como a quantidade média de informação contida nos símbolos transmitidos . Palavras como "o" ou "aquilo" são os símbolos mais freqüentes em um texto, mas, no entanto, são aqueles que contribuem com menos informações. A mensagem terá informações relevantes e entropia máxima quando todos os símbolos forem igualmente prováveis.

Entropia no campo da linguística

A maneira pela qual a informação é organizada e disseminada em um discurso é um dos tópicos mais relevantes e suscetíveis de pesquisa para lingüística. E graças à entropia pode ser feita uma análise mais profunda da comunicação.

No caso da comunicação escrita, o problema é simples de analisar (as unidades básicas, as letras, são bem definidas); Se você quiser entender a mensagem completamente, você pode decodificá-la com precisão e entender tanto o literal quanto o figurativo . Mas na linguagem oral, as coisas mudam um pouco, apresentando algumas complicações.

Não é fácil determinar no discurso oral os elementos fundamentais do código ; as palavras soam diferentes de acordo com quem as diz e, da mesma forma, podem ter significados diferentes. Não é suficiente, portanto, classificá-los em fonemas vocálicos e consonantais, pois isso não nos permitiria entender como a informação é organizada, pois, por exemplo, se os fonemas vocálicos são suprimidos, não é possível entender a mensagem.

De acordo com um estudo realizado na Universidade de Wisconsin-Madison, uma boa maneira de isolar e entender o código oral é através da decomposição espectral de sinais sonoros. Graças a essa técnica, tentamos entender como a cóclea filtra e analisa o que chega a ela. A cóclea é a parte de nossos ouvidos que tem a função de transformar sons em sinais elétricos e enviá-los diretamente para o cérebro.

Para realizar este experimento, foi utilizada uma unidade de medida conhecida como "entropia espectral em escala coclear" (CSE), que permite estabelecer conexões entre um sinal e aquele que o precede ; decidir quais possibilidades existem para prever um sinal a partir do anterior.

Os resultados retornaram que quanto mais semelhantes são dois sinais, mais fácil é prever o segundo ; Isso significa que as informações que recebemos do segundo são quase nulas. Da mesma forma, quanto mais eles diferirem uns dos outros, maior será a informação fornecida pelo segundo sinal, portanto, se for eliminado, causará consideráveis ​​conseqüências na compreensão do discurso.