Máquina de leitura empática, uma releitura dos Exercícios de Fonética nº 5 e 7 de Álvaro Neto (Liberto Cruz), por Fernando Nabais. Justificação e enquadramento, processo e road-map. [Texto]
Resumo > A máquina de leitura empática procura adaptar a dinâmica de leitura de um texto por parte do utilizador agindo cinéticamente sobre esse mesmo texto. Poderíamos pensar num teleponto de poesia, dinamicamente reactivo ao leitor. Disfarça-se de ferramenta empática para, na realidade, ser quase um objecto inútil, no sentido em que deturpa a função de uma ferramenta e torna a actividade que esta deveria facilitar – a leitura do poema – mais complicada com a sua própria empatia cinética. No entanto, para além da interactividade directa, convoca também a contemplação da representação cinética que resulta do impulso do leitor. Este, lendo o texto, vai dando vida ao sistema de partículas. Com as palavras emitidas, o leitor aplica impulsos ao sistema, o qual prossegue o seu movimento para além da acção desse impulso, conduzido por regras de simulação física dessas partículas.
Máquina de leitura empática [a partir dos Poemas Fonéticos Nºs 5 e 7 de Liberto Cruz/Álvaro Neto]. Autoria: Fernando Nabais, no âmbito do seminário E-Textualidades do mestrado em Comunicação e Artes da Faculdade de Ciências Sociais e Humanas da Universidade Nova de Lisboa e do projecto “CD-ROM da PO.EX”. Docente e coordenador do projecto: Rui Torres.
Resumo > As cinco aplicações desenvolvidas pretendem funcionar como um teleponto cinético para a leitura dos poemas Exercicios de Fonética N º5 e Nº7 de Liberto Cruz. Ajuste o volume do microfone do seu computador e diga o poema. O sistema irá reagir à sua leitura com comportamento cinético dependente das caracteristicas fonéticas imprimidas.
Enquadramento >
Se a introdução conceptual desta peça fosse um dos poemas dos Exercícios de Fonética Nº 5 e Nº 7 de Liberto Cruz que lhe serve de inspiração, poderia ser algo assim:
Age reage Age reage Som bom tom Som bom tom
Vê sê lê Vê lê sê
som bom reage tom age bom
Lê vê sê
A máquina de leitura empática procura adaptar a dinâmica de leitura de um texto por parte do utilizador agindo cinéticamente sobre esse mesmo texto.
Poderíamos pensar num teleponto de poesia, dinamicamente reactivo ao leitor.
Disfarça-se de ferramenta empática para, na realidade, ser quase um objecto inútil, no sentido em que deturpa a função de uma ferramenta e torna a actividade que esta deveria facilitar – a leitura do poema – mais complicada, com a sua própria empatia cinética. No entanto, para além da interactividade directa, convoca também a contemplação da representação cinética que resulta do impulso do leitor. Este, lendo o texto, vai dando vida ao sistema de partículas. Com as palavras emitidas, o leitor aplica impulsos ao sistema, o qual prossegue o seu movimento para além da acção desse impulso, conduzido por regras de simulação física dessas partículas, nesse sistema.
Sistemas de partículas
Podemos considerar que a palavra é uma partícula de um sistema com regras muito próprias que é a linguagem. Estas partículas podem arranjar-se em sub-sistemas com características e formas também próprias que todos identificamos em poemas, romances, noticias, etc. É deste conjunto de regras, imenso mas ainda assim identificável em cada uma das línguas humanas, que se torna possível a aplicação de princípios matemáticos à sua representação no universo digital. Em primeiro lugar pela própria tipografia e toda a carga emocional e comunicacional que representa. A um outro nível pela aplicação de regras linguísticas a essa representação digital que permitem criar dicionários, thesaurus, motores semânticos e muitas outras operações sobre texto que as ferramentas de edição de texto e muitos artistas digitais têm desenvolvido.
Áudio/Fonética
Cruzando os princípios anteriormente descritos com a utilização da linguagem na sua forma verbalizada, abrem-se imensos horizontes de expressão artística.
A máquina de leitura empática analisa o som proferido pelo leitor na leitura do poema, transformando-o em valores numéricos que vão afectar a respectiva componente visual.
A forma como dizemos uma palavra, uma frase, representa um enorme valor comunicacional, por vezes tão elevado como o sentido da própria palavra. Também a tradução da análise destas características em bits, abre um enorme leque de possibilidades de correlação, transformação e todo o tipo de operações computacionais.
É no cruzamento das questões referidas que esta Máquina de Leitura Empática aplicada aos poemas fonéticos de Liberto Cruz se situa. A representação visual e comportamental dos poemas associados a sistema de partículas, a definição de regras para o seu comportamento, assim como a análise áudio da respectiva leitura, proporcionam ao leitor uma experiência que se procura empática e de experimentação.
O poema reage ao seu leitor.
Ficha técnica > Texto: Poemas Fonéticos V e VII de Liberto Cruz | Autoria e programação: Fernando Nabais a partir do código original de Dave Bollinger, The Cat Desintegrator (http://www.davebollinger.com) | Linguagem de desenvolvimento: Processing com a biblioteca Sónia de Amit Pitaru para o tratamento de áudio.
Processo >
A partir do código de Dave Bollinger, nomeadamente a classe particle, descritiva de uma partícula individual dotada de propriedades como velocidade, aceleração, entre outras, mas, também de métodos de rendering (draw), foram sendo criadas alterações a vários níveis.
Em primeiro lugar a alteração do método draw, de renderização da partícula. Na aplicação original, uma informação de cor para um pixel, neste objecto, uma palavra de um poema.
Para além disso, também um conjunto de propriedades dessa classe apresentava valores que induziam comportamentos desadequados às partículas quando, sob a forma de texto. Ritmos de leitura e intenções de interacção ditaram a calibração destes parâmetros e a sua interdependência.
O poema de Liberto Cruz, fortemente ligado à expressão verbalizada da palavra apresentava-se adequado a uma interacção baseada na detecção de áudio. Recorrendo à biblioteca Sonia de Amit Pitaru e às suas capacidades de análise e manipulação de áudio em tempo real, implementou-se uma interacção sonora, por oposição à original que, funciona através do rato.
Desta forma, é o volume de leitura por parte do utilizador que condiciona o movimento do sistema de partículas.
Road map >
- Interpretação mais completa da componente áudio, através da análise de frequência e aplicação de algoritmos de afective computing, no sentido de potenciar a interacção.
- Exploração de outros efeitos gráficos que aproveitem o potencial de interacção descrito no ponto anterior e potenciem a componente cinética.
- Tornar a aplicação data driven, no sentido de todo o conteúdo e parametrização ser descrito externamente. Por exemplo, com recurso a XML.
Esta obra está neste momento inacessível. Brevemente estará disponível para download [aplicação offline].