Läsa recensioner kritiskt

[aspucko]

Var på stadens bibliotek idag och skummade igenom ett par nummer av MusikerMagasinet. Fastnade för en recension av studiomonitorn Phonic P8A eftersom jag tidigare varit intresserad av denna produkt.

När jag läser recensionen möts jag av lovord på lovord och knappt några negativa synpunkter. Artikeln (som för övrigt antagligen kommer upp på MM's hemsida snart) ter sig nästan för mig som om det vore en förklädd annons! Jag blev jävlarimej köpsugen =)

Till på köpet lottar de (Luthman?) ut ett par av nämnda monitorer till en läsare.

Jag vill härmed öppna upp för diskussionen om hur mycket vi bör ta artiklar, främst recensioner, i en till stor del reklamfinansierad tidning med ekonomiskt intresse som "objektiva" eller som ett sätt att gå annonsörernas intressen till mötes.

Jag vet att jag kommer bli bemött med argumentet att produkterna som recenseras i dylika tidskrifter oftast får lysande betyg av den enkla anledningen att det inte är värt att ge utrymme för att testa några dåliga produkter.

[Neko]

Då pratar vi ju betygsinflation. Jag är intresserad av att läsa om både dåliga och bra produkter. När man bara recencerar bra produkter som får från 8-10 av 10. Då är det kanske dags att höja referensskalan lite, öka kraven. Kan man inte använda sig av hela spektrat från 1-10 (kanske inte precis hela) så faller ju lite av tanken. Då kan man lika gärna nöja sig med ett skriftligt utlåtande i stil med: Bäst! eller nått sådant. Tycker det är farligt att bara recensera "bra" produkter... inte heller intressant. Jag får veta vad som är bra, men inte vad som är dåligt och jag bör akta mig för. Det som är bäst har jag väl sällan råd med ändå... 😉

[Kill All Autotuner]

Kul att det finns några som också har funderat på saken.

Nog för att man slås av att också studio mest delar ut 9:or i betyg på testade prylar, då börjar man ju rynka pannan till en tvättbräda. Troligtvis kommer det också argumentet om att "Vi testar inte skräpet som inte platsar" Men då blir å andra sidan kopplingen mellan tidningens affärsidee / Produkten/Tillverkaren/annonsörer bli lite knöligt obehaglig för läsaren, för jag tycker att ibland är det så uppenbart att man gärna testar grejor ur våra stora leverantörers katalog, och där blir det väl känsligt om man delar ut betyg som klart understiger prylar ur någon annan leverantörs sortiment.

Jag tror inte att ens vi prylfetischister som älskar våra grejor blir övertygade eller behjälpta av en press som fungerar som en förlängd arm för tillverkarna och annonsörerna.

Varför inte kopiera raljerande från biltidningar ?

Ex. - Cubase midiredigering går som om CPU:n hade skit i förgasaren

- Ableton live 4 har en ovanlig plastig inredning som är illa hopbyggd

- Den drar CPU soppa som en V12 på högsta vridmoment, det här stinker Logic !

- reasons ljudgenerator är enda smolken i bägaren på en annars ovanligt väl hopbyggd kraftmaskin.

😛

-

I studio står det IBLAND som kritik att " Produkten XXX slukar processorkraft (översatt : stackare som försöker köra den i en 12 månader gammal pc), har en brant inlärningskurva (Översatt : kasst användarinterface), vissa rudimentära funktioner (översatt : tillverkaren saknar kompetens eller pengar att betala sina programmerare) , och om tillverkaren xxx fixar buggen som får pc:n att ideligen krascha så blir betyget ta ta ta taaa - 9.

OK , man får väl lov att överdriva lite 😉

[Andreas L]

Då pratar vi ju betygsinflation. Jag är intresserad av att läsa om både dåliga och bra produkter. När man bara recencerar bra produkter som får från 8-10 av 10. Då är det kanske dags att höja referensskalan lite, öka kraven. Kan man inte använda sig av hela spektrat från 1-10 (kanske inte precis hela) så faller ju lite av tanken. Då kan man lika gärna nöja sig med ett skriftligt utlåtande i stil med: Bäst! eller nått sådant. Tycker det är farligt att bara recensera "bra" produkter... inte heller intressant. Jag får veta vad som är bra, men inte vad som är dåligt och jag bör akta mig för. Det som är bäst har jag väl sällan råd med ändå...  😏

Jäkligt intressant egentligen, jag har inte tänkt på det innan, så jag kollade igenom lite snabbt ur ett nummer(edit:studio) och såg att medelbetyget låg på 8.1 varav det lägsta var 7.

Nu menar jag inte att betyget är så enkelt som en siffra, och man får ju läsa artikeln och framför allt jämföra plus och minus. Men det ser onekligen lite lustigt ut att när man i ett ljudkort räknar upp fördelar som att

"Kompakt och välbyggt", "Snabb och enkel installation" samt "Låg latency"(som ju faktiskt ÄR viktigt)

Och sedan nämner nackdelar som att man hamnar i situationer där "de inbyggda mikrofonförstärkarna inte ger tillräcklig förstärkning" och att det "inte finns några balancerade ingångar..."

Kortet får ändå betyget 9. Ok, exempelt är kanske inte det bästa, men jag slog bara upp ett test och orkade inte leta. Ett betyg som 9 borde ju ändå anses vara extremt bra, och betyget 5 som medelmåttigt? Finns det i såfall några "medelbra" eller "dåliga" produkter om nästan allt hamnar mellan 7 och 9?

Känns som om en sådan typ av betygskala bara bli intressant om man på samma gång jämför en stor grupp och framförallt så bör snittbetyget för en valfriprodukt vara just 5.

Inget att ligga sömnlös över bara lite tankar. Jag kanske råkade köpa ett missvisande nummer, men som sagt -ganska intressant ändå!

Redigerat 20 augusti 2004 av Andreas L

[Neko]

Jag håller med dig där, och det är inte bara studio som har dessa problem (jaja... skjut mig nu... det är ju faktiskt ändå en bra tidning!) även andra facktidningar som speltidningar och andra tidsskrifter som har tester brukar ha dessa problem. Speltidningarna brukar vara värst, helt okritiskt ger de hypade spel skithöga betyg. Har inte köpt en speltidning på år och dagar, man kanske är för gammalt för sånt, men min flickväns mindre bror köper. I vissa utländska speltidningar verkar det dock som om man inte har lika stora problem med detta, och ett betyg som 9/10 är extremt bra. Nu vet jag inte om det är likadant vad gäller musikerbranchens utländska motsvarigheter.

[Majken]

"Kompakt och välbyggt", "Snabb och enkel installation" samt "Låg latency"(som ju faktiskt ÄR viktigt)

Låter som du läst mitt test av Quatafire 610 😏 - Vilket gör att jag faktiskt kan förklara betyget. Betyget vägde mellan en 8'a och en 9'a men justerades till det högre med hänsyn till tidigare test. Tittar man på pris och funktioner är dock Quatafire 610 det FireWire ljudkort jag tycker står sig bäst bland de jag hunnit testa i dagsläget. Om jag får flika in med min åsikt angående betyg så tycker jag att de är skeva i de flesta tidningar.

Rättvisa betyg är dock svårt. Det är många aspekter som väger in och olika saker är viktiga för olika målgrupper. Jag tar alltid betyg med en nypa salt. Får något 9 eller 10 så vet man dock att det är en bra och gedigen produkt. Får de istället 4 så kan man börja tveka. Betyg så låga som 1-3 bör inte förekomma på komersiella produkter då detta pekar på att de i stort sett är oanvändbara. Samtidigt är det dumt att inte använda hela skalan. Men detta kan eventuellt förklara varför ett medelvärde tycks vara kring 6-7 i de flesta tidningar. Dessutom kan det tyckas att vissa tidningar tvingas ge höga betyg för att fortsätta få produkter att recensera.

När man även testar både gratis och betalprodukter blir det ännu klurigare. En viktig aspekt i en normal produkt är just kostnaden, är det billigt nog kan det nästan vara värt att köpa hur dåligt det än är. Hur skall man då se på en gratisprodukt?

Huj svåra frågor...

/Majken

[aspucko]

Kul att så många verkar tänka på vad de läser iaf =)

Min huvudtes var ändå att annonsplatköparna har den slutgiltiga makten över vad som skrivs i facktidningar. Ty att inte stryka dem medhårs, ingen annonsering, inga inkomster, ingen tidning. Därför bör man ta rena recensioner med en nypa salt.

Är även nyfiken på huruvida recensenten eller för all del redaktionen får förmåner från de tillverkare som skickar in prylar till redaktionen. Skrivs ju faktiskt rätt ofta i dylika artiklar att författaren gråter när han/hon måste skicka tillbaka rec-exet.

Shit vad jag är cynisk på nattkvisten.

[Majken]

Är även nyfiken på huruvida recensenten eller för all del redaktionen får förmåner från de tillverkare som skickar in prylar till redaktionen. Skrivs ju faktiskt rätt ofta i dylika artiklar att författaren gråter när han/hon måste skicka tillbaka rec-exet.

Om jag endast talar efter egen erfarenhet så får recensenten inga förmåner av företaget som skickar produkten. Det är till och med så att företaget normalt sett inte vet vem som recenserat produkten förrän testet är publicerat. Om inte testaren bestämmer sig för att kontakta företaget själv för att ställa frågor eller dylikt det vill säga. Men då riktar sig detta till företaget och inte distributören som vanligtvis är de som står för att skicka ut testexemplar. Björn har tidigare påpekat att Studio fritt kan tycka och säga vad de vill om produkter och under de halvdussin test jag skrivit kan jag inte annat än instämma. Jag har aldrig känt mig bakbunden och även om texter förändras, kortas ned, skrivs om något o.s.v. så har jag aldrig upplevt att mina åsikter försvunnit eller förändrats, däremot har texter blivit mer lättlästa och överlag bättre (Stort tack till Mats!).

Björn eller Mats kan säkert förklara djupare och mer korrekt. Det jag skriver är hur jag uppfattat saker och bör nog tas med en nypa salt.

Hursomhelst kan jag med handen på hjärtat säga att jag inte tar någon som helst hänsyn till vilken produkt jag testar eller vilka som gjort den. Det jag bryr mig om är hur bra den är 😏

/Majken

[MusicGene]

När man även testar både gratis och betalprodukter blir det ännu klurigare. En viktig aspekt i en normal produkt är just kostnaden, är det billigt nog kan det nästan vara värt att köpa hur dåligt det än är. Hur skall man då se på en gratisprodukt?

priset har ju ingen som helst betydelse för hur bra produkten är. Det kan dock vara intressant att skriva hur prisvärd produkten är jämfört med konkurrenterna.

[Neko]

När man även testar både gratis och betalprodukter blir det ännu klurigare. En viktig aspekt i en normal produkt är just kostnaden, är det billigt nog kan det nästan vara värt att köpa hur dåligt det än är. Hur skall man då se på en gratisprodukt?

priset har ju ingen som helst betydelse för hur bra produkten är. Det kan dock vara intressant att skriva hur prisvärd produkten är jämfört med konkurrenterna.

Priset har inte någon betydelse för hur bra produkten är, men jag tror majken menade att en produkt kan vara bra eller dålig för sitt pris. En gratisplugg kan vara mycket välskriven och fungera löjligt bra, likväl som en dyr plugg kan vara dålig, hänga sig mm. Så man får väl utgå från defintionen hur värd den är det pris som är satt på den, risken är ju då istället att en hel del gratispluggar får snorhögtbetyg bara för att de är prisvärda... dvs de kostar inget, så de kan vara lite halvdassiga i kvalitén ändå... mjaha.... inte lätt fråga inte.

[Andreas L]

När man även testar både gratis och betalprodukter blir det ännu klurigare. En viktig aspekt i en normal produkt är just kostnaden, är det billigt nog kan det nästan vara värt att köpa hur dåligt det än är. Hur skall man då se på en gratisprodukt?

priset har ju ingen som helst betydelse för hur bra produkten är. Det kan dock vara intressant att skriva hur prisvärd produkten är jämfört med konkurrenterna.

Intressant, för man kan ju faktiskt se det på olika sätt; Priset i sig har ju inte att göra med om produkten är "bra" eller inte (tänk på blindtesten och högtalarkablarna...) iallafall inte när det handlar om ljud och funktionalitet, men det är ju avgörande för om en produkt är prisvärd . Kanske dags för två skalor? Prisvärdhet OCH funktionalitet? Det blir ju betydligt mer rättvisande än att bara ha något som heter "Betyg".

Jo, det var just det ljudkortet, Majken! 😏 Men jag tror att Neko skrev något viktigt när han pratade om betygsinflation. Det finns ju faktiskt inte någon anledning att ha en betygskala där bara 30% används. Skall man använda betyg så bör det finnas några typer av kriterier och det känns lite fånigt att man skulle testa 20 ljudkort och snittet skulle ligga runt 8.

Anyway, diskussionen handlar ju om hur kritiskt produkter granskas och att betygssnittet litter mellan "VG och MVG" på alla produkter är naturligtvis bara en liten del i saken.

EDIT: Jag föreslåt att tidningen Studion inför två betyg; Prisvärdhet OCH funktionalitet

Sorry, hade inget vettigare att skriva under väntan på nästa intressanta OS-gren!

Redigerat 21 augusti 2004 av Andreas L

[Majken]

priset har ju ingen som helst betydelse för hur bra produkten är. Det kan dock vara intressant att skriva hur prisvärd produkten är jämfört med konkurrenterna.

Produkter jämförs ofta baserat på likvärdiga funktioner och/eller likvärdigt pris. Jämför man exempelvis Studios test på Cubase SX2 och Cubasis 5 så har båda fått betyget 9. Hur intressant skulle Cubasis vara om det kostade 15 000kr? Vilka krav och önskemål skulle man kunna ställa på en produkt som Cubase SX2 om den var gratis?

Priset har en betydelse för hur bra produkten är då priset säger vad produkten kan jämföras med. Cubasis är exempelvis bra för att vara en billig sequencer. Visst kan det finnas en hel del önskemål om funktioner men hur relevanta är de egentligen om inga andra sequencerprogram i samma prisklass har dem?

OT kanske men att jämföra produkter rättvist är svårt. Enskilda funktioner kan för någon göra en produkt värd pengarna. För andra spelar inte priset någon roll. För den tredje är priset helt avgörande. Att då rättvist väga in skillnader i pris blir omöjligt. När gratisprodukter blandas in blir det ännu underligare. Att ställa krav på en produkt man betalat för är logiskt, att ställa krav på en gratisprodukt är inte lika självklart.

Vem känner igen sig i att radera gratispluggen när den inte funkar istället för att maila upphovsmannen och be om hjälp? Hur många gör samma sak med en plugin de betalat för? 😏

/Majken

[Majken]

EDIT: Jag föreslåt att tidningen Studion inför två betyg; Prisvärdhet OCH funktionalitet

Kanonbra förslag! Precis som du säger är det inflation i betygssättande.

Jag köpte för en par veckor sedan Future Music och började läsa igenom testen. Jag fastnade då för betygen. I Studio's tid har en 10'a delats ut. För mig personligen betyder 10 att produkten är perfekt och att man inte kan tänka sig att förbättra något. I första testet i Future Music delas två 10'or ut. I nästa test delas en 10'a ut. Jag tittar vidare och hittar 13st 10'or. Då börjar jag undra om de skulle införa en 11'a och en 12'a. Tankarna vinglar iväg mot Spinal Tap och Marshallförstärkaren "But this one goes to eleven!". Nåja, betyg får nog tas med en nypa salt antar jag.

/Majken

[MusicGene]

Priset har en betydelse för hur bra produkten är

Jag är av en helt annan uppfattning. Har recensenterna en skala med pris vs kvalitet där man lägger till betygspoäng för jämförbara produkter med samma kvalitet men som har olika pris? Isf kan ni ju redovisa den.

kanske ni kan ha fyra fem stycken olika bedömningsparametrar och sen väga samman de för ett slutbetyg?

Kvaliteten är inte relativt priset. Inte på något sätt. Jag tycker betyget skall spegla kvaliteten och inte prisvärdheten.

[Majken]

Kvaliteten är inte relativt priset. Inte på något sätt. Jag tycker betyget skall spegla kvaliteten och inte prisvärdheten.

Jag förstår hur du tänker och du har helt rätt. Givetvis är Cubase SX2 varken sämre eller bättre på att spela in ljud för att det kostar 8000kr. Hur "bra" en produkt är i ljudkvalitet är oberoende av pris. Hur "bra" en produkt är jämfört med andra produkter i ett test baseras dock oftast på att produkterna jämförs i samma prisklass. Detta kan göra en produkt "bättre" eller "sämre" baserat på produktens pris. Skillnaden är väl hur man definerar ordet bra. När jag säger att en produkt är bra så menar jag samtliga aspekter invägda, inte bara hur "bra" produkten låter och fungerar.

En betygsskala som endast baseras på ljudkvalitet eller liknande hade givetvis varit intressant. Å andra sidan hade det känts underligt att sätta 5 i betyg på ett prisvärt program som Cubasis för att kvaliteten på reverbpluggarna, funktioner i ljudredigering och antalet spår och vst instrument inte håller samma mått som Logic Audio Platinum som är 10ggr dyrare.

/Majken

[O-Jay]

Jag tycker inte heller om begreppet prisvärd när man endast recenserar en produkt. Då kan i princip vilket skräp som helst få högt betyg bara för att den är billig.

Jag ser två scenarier:

Antingen har jag tänkt köpa en ny pryl och min budget är x kr. Då vill jag veta vilken produkt i segmentet kring x kr som ger mest för pengarna. Jämförande test på 10 produkter är bra här.

Alternativt vill jag uppgradera min utrustning och verkligen köpa en bra produkt och då är priset mindre viktigt. Jag vill veta att om jag lägger till x kr så får jag bättre ljud/kvalitet/resultat än de billigare produkterna. Jag vill veta vad skillnaderna är mellan dåligt-bättre-bra-bäst. Kvalitet är då mycket viktigare och priset bör ha liten inverkan (även om man ofta ändå får vad man betalar för).

Men trots allt är ju en recension bara en persons åsikt och åsikter finns det många om det mesta 😏

[MusicGene]

det är ju inte så himla lurigt att se vad som är prisvärt eftersom priset på produkten med all säkerhet anges i recensionen. Man kan ju då välja den produkt med högst betyg i prisklassen man själv bestämt.

Varför är det så konstigt att ge Cubasis en femma i betyg om det är en hel del sämre? Det är ju upp till var och en att bedömma prisets vikt/kvalitet tycker jag.

Majken: Jag förstår givetvis vad du menar, men jag tycker att prisvärdhet är något högst subjektivt och något man bör bedöma själv utifrån de fakta recensionen gett.

[Majken]

Ett problem jag kan se med en betygsskala där pris inte vägs in är att det ställer högre krav på läsaren. En produkt som får betyget 4 kan fortfarande vara riktigt bra jämfört med övriga produkter i samma pris. Detta gör att läsaren måste vara insatt i både bottenskitet och toppskiktet på den testade produkten då ett lågt betyg inte är synonymt med en undermålig produkt.

/Majken

[MusicGene]

Ett problem jag kan se med en betygsskala där pris inte vägs in är att det ställer högre krav på läsaren. En produkt som får betyget 4 kan fortfarande vara riktigt bra jämfört med övriga produkter i samma pris. Detta gör att läsaren måste vara insatt i både bottenskitet och toppskiktet på den testade produkten då ett lågt betyg inte är synonymt med en undermålig produkt.

Om t.ex kvaliteten på Cubasis vs CubaseSX är flera steg tycker jag recensionen skall spegla det. Annars fattar man ju inte varför CubaseSX skulle vara nått...

[Johan Royen]

Då kan vi alltså konstatera att det har gått inflation i betygspoängen och att man alltså bör fästa större vikt vid själva recensionen.

Det säger väl egentligen sig självt att det är svårt att gradera en produkts alla för- och nackdelar med en siffra. Det är då lätt hänt att man sätter ett ganska godtyckligt betyg hellre än att sitta och ha betygsångest halva tiden till deadline.

Grejen med recensioner är dessutom att recensenten bara ger uttryck för sin åsikt om produkten. En recensent som inte spelar in särskilt mycket ger således fan i om ljudkortet han testar stöder 192 kHz i 24 bit eller inte, utan är mer intresserad av välintegrerade drivrutiner, låg latency osv osv. Som läsare får man då läsa artikeln och se om ljudkortet uppfyller ens egna krav och dra sina egna slutsatser...

Jaja, tror man skall vara försiktig med att anklaga musikpressen för att vara marknadsstyrd ivf. Känns som att en tidning som utsätts för påtryckningar från en tillverkare kommer gå ut med detta och ganska omgående sabotera det företagets rykte.

[Andreas L]

Då kan vi alltså konstatera att det har gått inflation i betygspoängen och att man alltså bör fästa större vikt vid själva recensionen.

Det säger väl egentligen sig självt att det är svårt att gradera en produkts alla för- och nackdelar med en siffra. Det är då lätt hänt att man sätter ett ganska godtyckligt betyg hellre än att sitta och ha betygsångest halva tiden till deadline.

Grejen med recensioner är dessutom att recensenten bara ger uttryck för sin åsikt om produkten. En recensent som inte spelar in särskilt mycket ger således fan i om ljudkortet han testar stöder 192 kHz i 24 bit eller inte, utan är mer intresserad av välintegrerade drivrutiner, låg latency osv osv. Som läsare får man då läsa artikeln och se om ljudkortet uppfyller ens egna krav och dra sina egna slutsatser...

Jaja, tror man skall vara försiktig med att anklaga musikpressen för att vara marknadsstyrd ivf. Känns som att en tidning som utsätts för påtryckningar från en tillverkare kommer gå ut med detta och ganska omgående sabotera det företagets rykte.

Jo, fast även om man fäster större vikt vid recensionen så handlade ju diskusstionen ursprungligen inte bara om betygsinflation, utan även att man som läsare kan få ett intryck av att en tidning skriver väldigt okritiskt. En sådan känsla förstärks ju av att de produkter som tidningar väljer att testa visar sig få väldigt höga betyg överlag.

Du har rätt i att en recension alltid har ett visst mått av subjektivitet, men vi borde ändå kunna lita på att recensenterna är så kunniga att de klarar av att göra förhållandevis objektiva OCH kritiska granskningar av nya hypade produkter.

Det är ju trots allt en del av recensentens roll, att kritiskt granska och genom egen expertis kunna belysa svagheter såväl som fördelar.

Om recensioner i en godtycklig tidning blir FÖR positiva och har ett medelbetyg på 8 av 10 poäng, så fungerar tidningen automatiskt som annonser för olika tillverkare (om de produkterna får genomgående mycket positiva omdömmen). Det kan därför vara viktigt att testprodukterna utgör en någorlunda rättvis bild av det produktutbud som finns på marknaden; som konsument är det naturligtvis intressant att se även vilka "dåliga" produkter som finns på marknaden. Om så inte är fallet, tappar recensionerna/tidningens namn(vilken det än må vara) på sikt sin trovärdighet, även om intentionerna är de bästa.

Redigerat 21 augusti 2004 av Andreas L