Critérios de Teste
Novo método de avaliação – Introdução
Válido para os testes realizados pelo Hi-Fi Planet
Como leitor de inúmeras revistas nacionais e estrangeiras (americanas e européias – e a maioria adquirida por assinatura), tenho observado um sério problema nas avaliações de equipamentos apresentadas na forma de pontuação de valor.
Método praticamente utilizado por quase todas as publicações (raras exceções já surgiram), ele tem se mostrado obsoleto, e incapaz de levar ao leitor qualquer informação realmente precisa sobre o desempenho dos aparelhos testados.
Os maiores problemas encontrados são:
1. A avaliação é bastante subjetiva, e depende muito das condições de teste, que infelizmente não são padronizadas. A maioria das publicações não realiza qualquer ensaio técnico (que existe praticamente para qualquer outro gênero de produto), e sequer avaliam o projeto e a construção dos equipamentos.
Por essa razão, as avaliações acabam não coincidindo, e é muito comum um equipamento ser avaliado de modos diferentes por cada publicação. Podemos considerar isso um absurdo, já que o equipamento é o mesmo, e os resultados deveriam ser bastante parecidos.
2. As publicações ficam presas aos seus anunciantes, e deles dependem. Muitas vezes não podem avaliar honestamente um equipamento, pois poderiam sofrer com a perda de interesse de novos anúncios, até por conta de uma ação de retaliação dos fabricantes, comerciantes e importadores.
Por isso é muito comum vermos hoje aparelhos com características e desempenho bastante comuns, sendo avaliados com pontuações no topo da escala de avaliação. Basta folhearmos algumas revistas para constatar o grande número (cada vez mais freqüente) de notas máximas para aparelhos bastante modestos.
3. Notamos, também, que algumas avaliações mais se parecem com cópias do manual do aparelho, pois informam características, recursos e outras informações básicas, que poderiam ser encontradas no site do próprio fabricante (e muitas vezes sem tantos erros). O teste em si ocupa uma pequena parte do texto, de forma bastante superficial e pouco esclarecedora.
Isso acontece basicamente porque o avaliador não dispõe de tempo ou mesmo de interesse em fazer aquela avaliação, e muitas vezes, de fato, não a fez. O avaliador acaba elaborando um texto bastante superficial, e atribuindo uma nota de acordo com o seu interesse comercial naquela marca.
4. O sistema de pontuação é tão falho que os avaliadores acabam conhecendo equipamentos com qualidades acima daqueles que já avaliou um dia, e que na oportunidade ganharam nota máxima. Podemos perceber isso quando observamos que algumas notas acabam sendo superiores à própria faixa de pontuação.
Outro agravante muito comum ocorre quando o avaliador descobre novos componentes que elevam a qualidade de seu sistema de uma forma global, o que faz com que todas as avaliações anteriores se percam, já que a referência passou a ser outra, e não é mais possível saber como aqueles equipamentos se comportariam nestas novas condições.
5. Por mais bem elaborada que seja uma metodologia, ela não funciona. Não há como cercar tantas variáveis que compõem um teste, e não é possível para um avaliador, que não dispõe de uma norma ou padrão universal de testes, querer elaborar seu próprio método. Os critérios a serem observados são muitos, e o avaliador teria que dispor de uma infinidade de equipamentos, instrumentos de testes, acessórios (cabos, por exemplo), salas diversas e tantas outras variáveis, inclusive pessoais, que tornariam qualquer avaliação inviável.
6. Muitas avaliações sequer apresentam provas de sua realização de fato (mesmo as fotos limitam-se àquelas oferecidas pelo fabricante, ou colhidas pela Internet), e não é possível afirmar que todas são realmente feitas. Novamente, aparece aqui o interesse pessoal do avaliador, que surge como um conflito entre os interesses comerciais da publicação, ou até de eventos que venha a criar no futuro, que dependerão diretamente da participação maciça dos fabricantes e comerciantes para o seu sucesso.
Poderíamos, ainda, relacionar inúmeros outros argumentos que colocam em xeque a validade de uma pontuação na avaliação crítica de um equipamento.
Diante disso, e buscando evoluir nesta questão, o Hi-Fi Planet, que não possui vínculos com qualquer fabricante ou comerciante, nem outros interesses comerciais, e que também se utilizava até este momento de pontuação para avaliação de equipamentos, passará a utilizar outro método de avaliação, bem mais moderno, atual, honesto e dinâmico.
Honesto porque não atribuirá mais pontos ao equipamento, como já fazem algumas poucas revistas estrangeiras (muito raras). E dinâmico porque a avaliação não acabará após cada teste, mas será sim atualizada e complementada no decorrer do tempo, inclusive com a participação externa de quem possa somar informações novas e confiáveis ao que já foi publicado.
Em nova oportunidade vamos divulgar o novo formato de avaliação, em detalhes, e que já se encontra em aplicação para refinamento.
Mas, basicamente, a idéia consiste em retratar o que foi observado durante os testes, deixando ao leitor o trabalho de tirar a sua própria conclusão, o que é bastante interessante e verdadeiramente útil.
Já tive oportunidade de ver equipamentos conquistarem pontuações máximas, onde o avaliador desconsiderou pontos importantes, que certamente tornariam o equipamento até mesmo inútil em algumas aplicações, seja pelos problemas já apontados aqui, seja por falta de conhecimento.
O mais importante de uma avaliação é levar ao leitor o maior número possível de informações sobre o que foi observado nos testes, deixando que o leitor vá criando a sua própria conclusão através destas informações, e nada mais, sem influência ou interferência tendenciosa do avaliador.
Muitas vezes as avaliações (seja de forma tendenciosa ou não) utilizam adjetivos fortes em seus textos, buscando transformar alguns defeitos em coisas sem importância.
Já tive a oportunidade de ver a avaliação de um equipamento que recebeu nota máxima, com a observação de que “representa uma ótima opção para qualquer consumidor”, porém, o aparelho, por uma falha em suas características, talvez pudesse ser usado no máximo por 30% dos consumidores, em função de uma limitação que sequer foi explorada no texto.
Em resumo, deixando os detalhes para uma nova oportunidade, e nesta buscando apenas justificar o porquê do abandono do método atual, mesmo não repetindo aqui muitas das falhas apontadas, o objetivo dos testes será apresentar de forma mais fiel possível as características de cada equipamento, seu comportamento exato durante os testes, a sua verdadeira aplicação, além de sua situação em relação ao mercado.
O objetivo, também, é incluir uma tabela de pontos positivos e negativos, para melhor ajudar o leitor a chegar à sua própria conclusão.
Destacamos os pontos mais importantes de nosso novo procedimento de testes:
O Hi-Fi Planet é um espaço mantido exclusivamente com recursos pessoais, e como um hobby “sério”. Ou seja, gosto do que faço, de compartilhar informações de algo que para mim é uma diversão, mas ao mesmo tempo procuro levar esta informação de forma responsável e precisa, pois sei da carência de conteúdos confiáveis em publicações impressas e virtuais sobre o assunto.
Assim, não mantemos vínculo com qualquer fabricante, vendedor, importador, distribuidor ou qualquer outro que possa contaminar os textos com qualquer tipo de interesse comercial ou de ordem pessoal. Não aceitamos anúncios ou patrocínios, e nem vendemos, representamos ou prestamos qualquer consultoria profissional neste segmento, para preservar a confiabilidade e imparcialidade de nossas opiniões.
O mantenedor deste espaço atua em áreas completamente diferentes dos segmentos de áudio e vídeo, mas, como “hobbista” sério, dedica muito tempo ao conhecimento destes assuntos.
Portanto, nossas opiniões são sinceras, agradando ou não quem quer que seja, e as muitas críticas que recebemos de quem mantém outros interesses pouco elogiáveis neste segmento, e que se sente prejudicado por nossas opiniões, são aceitas com o desprezo que merecem, pois não perderemos essa honestidade em nossos artigos para atender a este ou aquele interesse comercial ou pessoal.
Outro ponto que gostamos de destacar é que também não utilizamos metodologias de avaliação que empregam pontuação direta, como estrelas, notas e outros meios de valoração similar, pois, como já demonstramos em outras oportunidades, estas são formas viciadas e obsoletas de avaliar um equipamento, já que não conseguem oferecer a exatidão necessária em relação às qualidades de um equipamento por conta das inúmeras variáveis que afetam estes resultados. Tanto é que frequentemente acabamos vendo resultados conflitantes entre diversos avaliadores, e até mesmo metodologias que pontuam os equipamentos e que muitas vezes estão até com a soma dos pontos errada.
Nossa metodologia é uma evolução de vários formatos que testamos e aprimoramos ao longo do tempo, e que refletem os resultados de uma forma mais flexível e ampla.
Ainda, existem outros erros que evitamos, como aceitar equipamentos de revendas, importadores ou fabricantes, pois podem vir “preparados” para o teste, não tratando-se, portanto, do mesmo equipamento encontrado à venda no mercado, mas de uma unidade “mexida” para apresentar melhor desempenho e ocultar falhas.
Também pré-testamos o equipamento na sala de testes para avaliar as influências de vibrações oriundas das caixas acústicas, e depois acomodamos o equipamento em outro compartimento isolado desta sala, que é sempre o mais correto.
Critérios Provisórios – Avaliação de Equipamentos – Obsoleto
As avaliações de equipamentos realizadas pelo Hi-Fi Planet seguem alguns critérios provisórios, criados com o objetivo de facilitar a vida do leitor na escolha de seus equipamentos.
Este tipo de avaliação é algo muito sério. Sempre se discute a validade destas avaliações, seja quanto aos critérios técnicos adotados, ou pela subjetividade de alguns aspectos típicos destas avaliações, ou mesmo pelos conflitos de interesses do veículo que produz estas informações e o fabricante do equipamento avaliado.
Os critérios técnicos e subjetivos estão sendo finalizados ainda, e em breve serão divulgados. Não é fácil estabeler estes critérios em função de muitas dificuldades que cercam vários de seus aspectos. Mas, estas questões serão profundamente comentadas aqui oportunamente.
Os conflitos comerciais também podem prejudicar as avaliações. São pouquíssimos veículos que produzem avaliações com bastante credibilidade, pois não dependem de seus anunciantes para sobreviver, ou têm interesses nesta ou naquela marca, por revendê-las ou por serem de vital importância para a sobrevivência do site, da revista ou de qualquer que seja o meio de divulgação. Infelizmente, muitos que se iniciam nesse caminho acabam cruzando com o interesse comercial, em prejuízo de sua credibilidade.
Nosso objetivo não é comercial. E ao longo da história que estamos construindo, o compromisso com a verdade, com a ética e principalmente com aqueles que buscam informações confiáveis aqui, estará sempre presentes em nossas avaliações. Isso será facilmente constatado por todos.
Como certamente ficou bastante claro, os critérios de avaliação informalmente adotados hoje em nossas avaliações são provisórios. Eles procuram ser bastante honestos e justos, mas não possuem a transparência necessária para melhor compreensão do significado final, que é a pontuação que cada aparelho recebe.
Já considerei inúmeros critérios, e nenhum deles me deu a segurança e o conforto que considero necessários para uma pontuação adequada do equipamento avaliado. A solução final, que será apresentada em breve, é uma adaptação de algumas existentes na Europa, e que chegam bem próximo do que se espera ao final, clareza e justiça na pontuação.
Mas, até lá, estaremos adotando este critério utilizado hoje, mais simples, bastante objetivo, e que pode ser útil para quem precisa escolher mais seguramente na hora da compra.
Na avaliação atual, serão considerados o desempenho do aparelho, sua contrução e seu valor final. O valor não é baseado somente no preço, se acessível ou não ao consumidor, mas sim naquilo que ele fornece para o seu preço, dentro da sua faixa de mercado. Assim, um equipamento pode ser muito bom em desempenho e construção, mas na sua faixa de preço ele pode não ser uma das melhores opções do mercado.
Desempenho e qualidade de construção serão considerados conjuntamente. Não se pode admitir que um aparelho apresente um bom resultado para a aplicação desejada, mas não possua qualidade de construção suficiente para apresentar boa durabilidade com poucas falhas de funcionamento. Ele deve ser tão robusto quanto se espera dele na faixa de preço em que se encontra.
Todas estas questões serão abordadas e melhor explicadas oportunamente. Neste momento, o nosso objetivo é tão somente apresentar nosso atual critério, bastante básico, mas muito justo.
A pontuação é feita por cinco estrelas. As quatro primeiras mostram o grau de satisfação do avaliador quanto ao desempenho e qualidade de construção, e está dividida da seguinte forma:
= Ótimo desempenho e qualidade de construção.
= Bom desempenho e qualidade de construção.
= Razoável desempenho e qualidade de construção.
= Baixo desempenho e qualidade de construção.
É importante observar que cada uma das pontuações considera os resultados de desempenho e qualidade de construção, de forma simultânea ou individualmente, e um aspecto pode influenciar o outro, até compensando-o, desde que isoladamente um deles não esteja tão distante do outro. Aí prevalecerá o bom senso, e uma leitura no texto da avaliação será mais esclarecedor do porquê da pontuação adotada. Se um aparelho tiver um desempenho “Ótimo”, e uma construção apenas “Razoável”, ele poderá ser classificado na média, como “Bom”. Mas, se o desempenho ainda for “Ótimo”, mas a qualidade for muito sofrível, ele pode ser classificado de “Razoável” ou “Baixo”, dependendo do quanto a construção, isoladamente, é boa ou ruim.
De uma forma mais compreensível e bem resumida, pode-se adotar:
ÓTIMO: Resultado surpreendente. Agradou muito e é uma escolha bastante segura.
BOM: É o que se espera dele. Cumprirá o seu papel com algumas restrições.
RAZOÁVEL: Apresenta resultados médios, mas não é uma boa opção.
BAIXO: Não vale a pena. Seu resultado final não agradou. Péssima opção.
Novamente, a leitura completa do teste sempre será mais elucidativa.
É preciso considerar também que um aparelho com 3 estrelas não necessariamente é inferior a outro pontuado com quatro estrelas. Isso vai depender da faixa onde cada um se encontra. Ou seja, um aparelho pode obter uma pontuação de 4 estrelas por ter ótimas virtudes para um aparelho de sua faixa de mercado, e um outro pode apresentar desempenho superior e receber 3 estrelas, pois mesmo com melhor resultado que o primeiro, não atinge as qualidades desejadas para a faixa de mercado que participa. Não é só o preço que determina essa faixa, mas seu projeto como um todo, e isto não é sempre tão fácil de identificar. Um aparelho pode custar bem mais que o outro, mas seus recursos, tecnologia e aplicação são semelhantes, o que os coloca na mesma faixa de mercado.
Mas, como já foi mencionado, a pontuação é feita por cinco estrelas, sendo as quatro primeiras adotadas conforme o critério acima explicado. E a quinta estrela?
A última estrela indica, como já foi também dito anteriormente, a relação entre a sua qualidade e preço, dentro da sua faixa de mercado. O aparelho pode ter um ótimo ou bom desempenho, mas seu preço pode ser muito alto, o que sugere que é possível encontrar outras opções com virtudes ou defeitos semelhantes por preços mais baixos.
Isso significa que um aparelho com quatro estrelas, e outro com cinco, na mesma faixa de mercado, tem qualidades semelhantes, sendo apenas que um está bem mais caro que o outro e, portanto, pode não ser a melhor opção.
Assim, pode, por exemplo, ocorrer a seguinte situação:
Classificação para um aparelho que obteve um resultado bom na avaliação final, e seu preço é bastante compatível com suas qualidades, na média do mercado.