[sissel]

• 0

Är ni inte rädda för att era filer ska korruptas?

Jag menar, det finns ju ett skäl att man använder ECC RAM stickor i servrar; därför att bitar flippar slumpmässigt i RAM. RAM korruptas sakta, detta kallas ju även bitröta.

Exakt samma sak händer på diskar. T.ex. hårdvaruraid är ju ökänt för att ha massa problem med att filer sakta korruptas. Även NTFS har ju massa problem. Tänk själv om man har en gammal rar fil, eller doc fil, och bitar har sakta ruttnat. Sen så försöker man öppna filerna långt senare, men det går inte. Pga filen är korrupt.

Är ni inte rädda för bitröta?

[masse70]

• 0

Är ni inte rädda för bitröta?

Svar, nej.

[Wixner]

• 0

Nepp!

Bitröta är för mig ett svagt argument för ZFS- och mjukvaruraid-förespråkarna

[sissel]

• 0

Backup är också ett svagt argument och helt onödigt. Bitröta i RAM står för 30% av alla Windows krascher, enligt MS. Därför försökte MS få igenom att alla måste använda ECC RAM, tidigare.

(Ända tills man själv råkar ut för det).

[Unregistered5e1e3058]

• 0

Är man orolig för bitrot är det väl bara köra med zfs eller btrfs, detta löser väl problemet till 99%. Jag har dock själv aldrig råkat ut för någon märkbar bitrot, tror knappast det är något som hemanvändare behöver oroa sig för. Och även om du har flera TB data hemma i form av t.ex bluray-rippar så är det knappast något du märker, om du nu inte har extrem otur och en bit flippar som t.ex. sabbar en filheader och gör den ospelbar, men då har man förhoppningsvis backup att återställa ifrån...

[tyve]

• 0

...
Exakt samma sak händer på diskar. T.ex. hårdvaruraid är ju ökänt för att ha massa problem med att filer sakta korruptas. Även NTFS har ju massa problem...

Har du några referenser till detta ökända problem? Varför blir filer sakta korrupta när man använder hårdvaru-raid till skillnad mot t.ex. ingen raid alls? Vilka problem är det NTFS har?

[BitterMelon]

• 0

Har du några referenser till detta ökända problem? Varför blir filer sakta korrupta när man använder hårdvaru-raid till skillnad mot t.ex. ingen raid alls? Vilka problem är det NTFS har?

Det finns massor att läsa om detta fenomen om man googlar. Däremot är det inte specifikt NTFS som har problem, utan ganska många filsystem. Det är inte heller så att icke-RAID egentligen är säkrare än RAID, men trots att ex. RAID-5 använder paritetsbitar för att säkerställa data så är det mycket mottagligt för silent corruption, a.k.a. bitröta. Det kan alltså ge en falsk säkerhet om man tror att RAID räddar en eftersom man har redundans. En mjukvaru-RAID a la ZFS med checksummor hela vägen skulle dock upptäcka de felen.

Det är dessutom, vilket jag tycker tråden vill antyda, inte bara RAM som orsakar problemet. Det kan uppstå på andra ställen i systemet. Ex. trasig nätdel:
http://blogs.oracle....aves_the_day_ta
http://blogs.oracle....end_to_end_data
(Ja, jag vet att de ligger hos Oracle, alltså pro-ZFS, men ändå.)

Men i slutänden, är det något hemanvändare behöver bry sig om? I de allra flesta fall: Nej.

[sissel]

• 0

Har du några referenser till detta ökända problem? Varför blir filer sakta korrupta när man använder hårdvaru-raid till skillnad mot t.ex. ingen raid alls? Vilka problem är det NTFS har?

Hårdvaruraid är inte designat för att korrigera bitröta, än mindre upptäcka det. Så hårdvaruraid är väldigt osäkert:
http://en.wikipedia....blems_with_RAID

Alla filsystem har ju problem med bitröta (utom ZFS), det finns ju många exempel på hur folk inte längre kan spela sina gamla filmer eller nåt annat, pga bitröta.

[tyve]

• 0

Hårdvaruraid är inte designat för att korrigera bitröta, än mindre upptäcka det. Så hårdvaruraid är väldigt osäkert:
http://en.wikipedia....blems_with_RAID

Alla filsystem har ju problem med bitröta (utom ZFS), det finns ju många exempel på hur folk inte längre kan spela sina gamla filmer eller nåt annat, pga bitröta.

Kan inte se något som nämner bitröta (Silent corruption/bit rot/ghost writes?) i Wikipedia-artikeln. Du får gärna citera den texten om jag har missat den. Det svarar dessutom inte på frågan om det är speciellt allvarlig med RAID till skillnad mot att inte använda raid alls.

En film borde gå att spela upp nästan felfritt även om någon eller några bitar har blivit fel. Lite pixlighet eller fel i bilden kanske uppstår men inget mer. Jag hittar inga exempel om jag söker på bitröta.

Jag känner helt enkelt inte igen bilden av att det ska vara ett stort problem. Det är inget jag läser om i forum eller på nyhetssajter. Det är inget problem som mina vänner hör av sig till mig om. Det är inget vi brottas med här på jobbet och det är inget som nämnts av de SAN-leverantörer som vi pratat med de senaste halvåret.

Jag saknar helt enkelt fortfarande referenserna som säger att det här är ett stort problem.

[what17ever]

• 0

Kan inte se något som nämner bitröta (Silent corruption/bit rot/ghost writes?) i Wikipedia-artikeln. Du får gärna citera den texten om jag har missat den. Det svarar dessutom inte på frågan om det är speciellt allvarlig med RAID till skillnad mot att inte använda raid alls.

En film borde gå att spela upp nästan felfritt även om någon eller några bitar har blivit fel. Lite pixlighet eller fel i bilden kanske uppstår men inget mer. Jag hittar inga exempel om jag söker på bitröta.

Jag känner helt enkelt inte igen bilden av att det ska vara ett stort problem. Det är inget jag läser om i forum eller på nyhetssajter. Det är inget problem som mina vänner hör av sig till mig om. Det är inget vi brottas med här på jobbet och det är inget som nämnts av de SAN-leverantörer som vi pratat med de senaste halvåret.

Jag saknar helt enkelt fortfarande referenserna som säger att det här är ett stort problem.

+1, tummen upp, gilla, håller med, osv,osv....

Redigerat av what17ever, 03 February 2012 - 09:50.

[masse70]

• 0

+1, tummen upp, gilla, håller med, osv,osv....

+2...

[Unregistered5e1e3058]

• 0

Jag ser heller inte vad RAID har med saken att göra. Det är väl snarare storleken på lagringen som avgör hur stor risken är att drabbas. Vanliga SATA- diskar har väl en URE-rating (unrecoverable read error) på ca 12TB, dvs. vid varje läsning av 12TB data flippar i snitt en bit data och det blir bitrot, detta är ju oavsett om du kör RAID eller inte...

[Tresor]

• 0

Hmmm har man inte problem så får man skaffa sig....

Just filmer är väl något som är extremt ointresant i detta sammanhang då en bits korrekthet knappast borde ha någon reell påvisbar försämring av ljudet eller bilden vid uppspelning.

//Tresor

[sissel]

• 0

Kan inte se något som nämner bitröta (Silent corruption/bit rot/ghost writes?) i Wikipedia-artikeln. Du får gärna citera den texten om jag har missat den. Det svarar dessutom inte på frågan om det är speciellt allvarlig med RAID till skillnad mot att inte använda raid alls.

En film borde gå att spela upp nästan felfritt även om någon eller några bitar har blivit fel. Lite pixlighet eller fel i bilden kanske uppstår men inget mer. Jag hittar inga exempel om jag söker på bitröta.

Jag känner helt enkelt inte igen bilden av att det ska vara ett stort problem. Det är inget jag läser om i forum eller på nyhetssajter. Det är inget problem som mina vänner hör av sig till mig om. Det är inget vi brottas med här på jobbet och det är inget som nämnts av de SAN-leverantörer som vi pratat med de senaste halvåret.

Jag saknar helt enkelt fortfarande referenserna som säger att det här är ett stort problem.

Här har du en referens från CERN:
http://indico.cern.c...er&confId=13797
De kom fram till att när man lagrar viktiga data, så är hårdvaruraid inte något att lita på.

Här är en annan forskningsartikel:
http://research.cs.w...igmetrics07.pdf

A recent academic study of 1.5 million HDDs in the NetApp database over a 32 month period found that 8.5% of SATA disks develop silent corruption. Some disk arrays run a background process that verifies that the data and RAID parity match, and can catch these kinds of errors. However, the study also found that 13% of the errors are missed by the background verification process.

When you put those statistics together, you find that on average 1 in 90 SATA drives will have silent data corruption that is not caught by the background verification process. So when those data blocks are read, the data returned to the application would be corrupt, but nobody would know. For a RAID-5 (4+P) configuration at 930 GB usable per 1 TB SATA drive, that calculates to an undetected error for every 67 TB of data, or 15 errors for every petabyte of data. If a system were constantly reading all that data at 200 MB/sec, it would encounter the error in less than 100 hours.

Här har du en annan forskningsartikel
http://www.usenix.or...jiang/jiang.pdf

Another very large academic study looked at failure characteristics for entire storage systems, not just the disks. In the 39,000 storage systems that were analyzed, the protocol stack (firmware) accounted for between 5% and 10% of storage failures. These are the kinds of failures brought on by faulty code in the firmware.

Flera referenser:
http://www.raidinc.c...-Corruption.pdf
http://www.raidinc.c...Data-Center.pdf

Det kryllar av referenser om du googlar lite på "Silent Corruption" och "bit rot". Men lagringsföretagen håller detta dolt, de vill inte att folk ska veta om detta. "Köp vår fina lagringslösning, men ibland så korruptas dina filer! Bra va?". Detta är en välkänd hemlighet i lagringsbranschen, som börjar sprida sig nu.

Men visst är det så att om man bara lagrar media, så är några flippade bitar inte något att hetsa upp sig över. Men lagrar man viktiga data, såsom databaser och viktiga dokument, så är bitröta ett problem som man bör tänka på, och göra allt för att undvika.

[masse70]

• 0

Jag förstår helt ärligt inte vad syftet med denna tråd är?

Du tycks leta efter ett problem som få eller ingen själv har upplevt, hört talas om eller känner någon som drabbats av.

[frollic]

• 0

Dessutom är det väl knappast ett problem som är större på NAS än andra lagringslösningar, så jag flyttar tråden till Allmänna ...

[sissel]

• 0

Jag förstår helt ärligt inte vad syftet med denna tråd är?

Du tycks leta efter ett problem som få eller ingen själv har upplevt, hört talas om eller känner någon som drabbats av.

Jag undrar om någon tar detta problem på allvar? Det är många som upplevt det, dock. Troligen även du. Det är ungefär som ECC RAM. När man får bitfel i RAM, så kraschar ett program, eller hela datorn. 30% av alla windowskrascher beror på bitfel i RAM, och skulle kunnat stävjas med ECC RAM. Jag tror även du råkat ut för Windowskrascher. På samma sätt har du även råkat ut för bit röta. På C64 tiden så blev disketterna sämre och sämre, till slut kunde man inte läsa dem alls. Bitröta.

[masse70]

• 0

Jag undrar om någon tar detta problem på allvar?

Jag tror du själv kan se att det inte är många här i tråden eller på forumet eller ens jag själv eller nån jag känner personligen som tar detta sk. "problem" på allvar.

Det har väl framgått rätt tydligt av inläggen att döma?

[frollic]

• 0

På C64 tiden så blev disketterna sämre och sämre, till slut kunde man inte läsa dem alls. Bitröta.

iofs ett (imho) ganska dåligt exempel, med tanke på att disketterna bestod av ett magnetiskt skikt som kunde slitas, både av läsaren och av förvaringsmetoden mm, plus att de lätt kunde påverkas via magnetiska fält, från tex en TV, vilket C64-ägare använde sig av.

[Unregisteredc96d6be8]

• 0

Är inte särskilt orolig, har rätt mycket filer som är rätt gamla, men jag har aldrig haft problem oavsett filsystem.

Men den som är orolig får väl ha sin lagring på ett system som stödjer zfs svårare än så är det ju inte. För mig är det inget argument för att behöva slösa onödigt mycket pengar på bla minne i en server

[Unregistered277056c3]

• 0

...När man får bitfel i RAM, så kraschar ett program, eller hela datorn. 30% av alla windowskrascher beror på bitfel i RAM, och skulle kunnat stävjas med ECC RAM. Jag tror även du råkat ut för Windowskrascher. På samma sätt har du även råkat ut för bit röta. På C64 tiden så blev disketterna sämre och sämre, till slut kunde man inte läsa dem alls. Bitröta.

Säger Microsoft att 30% av alla windowskrascher beror på läsfel från minnet så tillåter jag mig att vara en smula skeptisk.

Ett bitfel per 12TB läst data från en disk är oftast ingen katastrof, och även i databassammanhang innebär det inte per automatik att felet ger upphov till någonting alls eftersom det dels inte är säkert att det aktuella bitfelet ligger i en post som faktiskt används eller processas just då och dessutom görs läsningen sannolikt felfritt nästa gång. Risken att data förvanskas permanent är alltså sannolikt en stor multipel av 1 per 12TB, vilket inte på något sätt gör problemet oväsentligt för t ex försäkringskassan eller banker, men knappast något en hemanvändare vare sig kan eller behöver skydda sig mot utöver backup av viktiga filer.

Redigerat av Unregistered277056c3, 03 February 2012 - 14:09.

[sissel]

• 0

iofs ett (imho) ganska dåligt exempel, med tanke på att disketterna bestod av ett magnetiskt skikt som kunde slitas, både av läsaren och av förvaringsmetoden mm, plus att de lätt kunde påverkas via magnetiska fält, från tex en TV, vilket C64-ägare använde sig av.

Men hårddiskar består ju också av ett magnetiskt skikt som läses av en arm. De funkar ungefär som disketter. RAM får ju också massa bitfel problem, så de har också samma problem som diskar har.

Säger Microsoft att 30% av alla windowskrascher beror på läsfel från minnet så tillåter jag mig att vara en smula skeptisk.

Ett bitfel per 12TB läst data från en disk är oftast ingen katastrof, och även i databassammanhang innebär det inte per automatik att felet ger upphov till någonting alls eftersom det dels inte är säkert att det aktuella bitfelet ligger i en post som faktiskt används eller processas just då och dessutom görs läsningen sannolikt felfritt nästa gång. Risken att data förvanskas permanent är alltså sannolikt en stor multipel av 1 per 12TB, vilket inte på något sätt gör problemet oväsentligt för t ex försäkringskassan eller banker, men knappast något en hemanvändare vare sig kan eller behöver skydda sig mot utöver backup av viktiga filer.

Jo, jag håller med om att ett fel per 12TB inte var så farligt när man satt på 420 MB diskar. Det tog ju lång tid innan man hann läsa 12TB, disken var liten och långsam. Idag har många raid arrayer, och 12TB är inte alls ovanligt. Just på denna sajt som har media fantaster, så tror jag många har stora mängder data och jag skulle inte alls bli förvånad om folk har 5-10TB data.

Diskarna har blivit stora, men alltid haft samma felprocent. Felprocenten har inte blivit bättre, den är fortfarande konstant. Snart finns 12TB diskar på marknaden, då kommer vi råka ut för massa fel. Ju större diskar, desto större problem. Det har aldrig varit problem förrut. Men idag börjar det bli ett problem.

[masse70]

• 0

Du vill verkligen göra detta till ett större problem än vad det faktiskt är, vad är målet för dig med detta?

Jag är klart förbryllad...

[tyve]

• 0

Men hårddiskar består ju också av ett magnetiskt skikt som läses av en arm. De funkar ungefär som disketter. RAM får ju också massa bitfel problem, så de har också samma problem som diskar har.

Det är ju ganska stor skillnad på tekniken i en gammal floppy och en modern hårddisk. Där är diskarna inkapslade och isolerade. Dessutom använder hårddiskar ECC.

Jo, jag håller med om att ett fel per 12TB inte var så farligt när man satt på 420 MB diskar. Det tog ju lång tid innan man hann läsa 12TB, disken var liten och långsam. Idag har många raid arrayer, och 12TB är inte alls ovanligt. Just på denna sajt som har media fantaster, så tror jag många har stora mängder data och jag skulle inte alls bli förvånad om folk har 5-10TB data.

Diskarna har blivit stora, men alltid haft samma felprocent. Felprocenten har inte blivit bättre, den är fortfarande konstant. Snart finns 12TB diskar på marknaden, då kommer vi råka ut för massa fel. Ju större diskar, desto större problem. Det har aldrig varit problem förrut. Men idag börjar det bli ett problem.

Någonting är seriöst fel med den siffran. Vi kör backup till disk och en full backup varje vecka är på 4-5 TB. På den körs verify, dvs. datat läses igen och kollas mot en checksumma. Antal fel på verify i loggen sedan servern installerades för snart ett år sedan = 0.

Å just det, backuperna lagras på hårdvaru-raid nivå 5...

[Vapo]

• 0

Backup är också ett svagt argument och helt onödigt. Bitröta i RAM står för 30% av alla Windows krascher, enligt MS. Därför försökte MS få igenom att alla måste använda ECC RAM, tidigare.

Snackar vi NT4 Server eller tidigare här? Vilken Win plattform refereras till, om det ens nu finns ngn fakta bakom detta?

[Unregistered5e1e3058]

• 0

Alltså bitrot är ju inget påhitt utan ett reellt problem vid riktigt stora lagringsvolymer. Denna länk har en del nyttig info: http://queue.acm.org....cfm?id=1670144
Men det är knappast något som påverkar hemanvändare i någon nämnvärd omfattning, sitter man på ett företag och hanterar TB mängder med kritisk data är det dock inget man bör ignorera...

Edit: Lite mer lättläst artikel: http://storagemojo.c...orking-in-2019/

Redigerat av Unregistered5e1e3058, 03 February 2012 - 15:03.

[masse70]

• 0

Alltså bitrot är ju inget påhitt utan ett reellt problem vid riktigt stora lagringsvolymer.

Men det är knappast något som påverkar hemanvändare i någon nämnvärd omfattning

Jo, men nu var ju TS frågeställning detta:

Är ni inte rädda för att era filer ska korruptas?

Vilket ju riktas till hemanvändare som läser detta. Att detta skulle vara ett reellt problem för en hemanvändare är mycket överdrivet och något få känner igen sig i. Dessutom så använder nog de flesta normalbegåvade datoranvändarna därute nån form av backup för de mest värdefulla filerna vilket gör problemet än mindre.

Redigerat av masse70, 03 February 2012 - 15:10.

[Unregistered277056c3]

• 0

...ett fel per 12TB inte var så farligt när man satt på 420 MB diskar. Det tog ju lång tid innan man hann läsa 12TB, disken var liten och långsam. Idag har många raid arrayer, och 12TB är inte alls ovanligt. Just på denna sajt som har media fantaster, så tror jag många har stora mängder data och jag skulle inte alls bli förvånad om folk har 5-10TB data.

Diskarna har blivit stora, men alltid haft samma felprocent. Felprocenten har inte blivit bättre, den är fortfarande konstant. Snart finns 12TB diskar på marknaden, då kommer vi råka ut för massa fel. Ju större diskar, desto större problem. Det har aldrig varit problem förrut. Men idag börjar det bli ett problem.

Du har fastnat lite i ett domedagsresonemang och tar inte riktigt in det du läser verkar det som.

Problemet blir inte större för att vi har mycket data, det händer inget särskilt för att man kommer upp i 12TB och det är fortfarande så att felet oftast saknar betydelse eftersom det blir rätt vid nästa läsning.

För att felet "skall bli permanent" krävs att den datamängd som lästs felaktigt antingen orsakar avvikelser i en beräkning/process och sedan skrivs på disk, eller att felet läses/kopieras och sen skrivs i samma fil eller en kopia.

Skulle det exempelvis dyka upp ett mindre fel i en text, film eller låt så spelar det ingen roll eftersom det då förmodligen maskeras och inte märks alls, och om det är en programfil så kanske skiten hänger sig eller bär sig lite konstigt åt. NÄSTA GÅNG programmet, låten, filmen eller vad det nu kan vara körs händer sannolikt inget konstigt alls, eftersom felet var momentant vid ett specifikt tillfälle...

Är du med?

Redigerat av Unregistered277056c3, 03 February 2012 - 15:49.

[spelevinken]

• 0

Att döma av alla inlägg så är ju tråden absolut intressant. För typ ett tiotal år sedan så minns jag att forskare flaggade för att digitala foton skulle "förstöras" om de lagrades för länge. Jag själv brukar ställa mig frågan, om jag tar ett digitalt lagrat material och flyttar det till annan fysisk lagring - är skadan redan skedd (om det nu skett någon skada) eller blir själva flytten/kopian en reparation i sig. Tänk om det är så att alla ettor och nollor vi sparat faktiskt har ett bäst före datum, vad händer då? Känns lite som om den klassiska frågan, hur långt är ett snöre?

Tror själv att problemet är ett "millenieproblem" dvs ett haussat problem som inte finns, men ändock frågeställningen är mycket intressant.

[sissel]

• 0

Det är ju ganska stor skillnad på tekniken i en gammal floppy och en modern hårddisk. Där är diskarna inkapslade och isolerade. Dessutom använder hårddiskar ECC.

Det är inte så stor skillnad på hårddiskar och floppy, det är i grunden samma teknik. Visst använder hårddiskar ECC, men den ECC funktionen som hårddiskar använder är inte jättebra. T.ex. om du tittar i specifikationen till SAS Enterprise diskar, eller för Fibre Channel diskar, så står det att det blir 1 okorrigerbart fel per 10^16 lästa bitar. Mao, även high end Fibre Channel har problem med ECC.

Någonting är seriöst fel med den siffran. Vi kör backup till disk och en full backup varje vecka är på 4-5 TB. På den körs verify, dvs. datat läses igen och kollas mot en checksumma. Antal fel på verify i loggen sedan servern installerades för snart ett år sedan = 0.

Å just det, backuperna lagras på hårdvaru-raid nivå 5...

Siffran är ju bara ett genomsnittsvärde, det är ju bara statistik. Inget säger att just du råkar ut för detta. Men, faktum kvarstår, många får problem. Det som är jobbigt, är att man inte ens vet att man har problem! Det kallas Silent Data Corruption. Det är ungefär som jag säger "5% av alla villor har trämask. Jasså, det är nåt seriöst fel på siffran, vi har bott i vårt hus i 10 år utan att sett nåt"

Du har fastnat lite i ett domedagsresonemang och tar inte riktigt in det du läser verkar det som.

Problemet blir inte större för att vi har mycket data, det händer inget särskilt för att man kommer upp i 12TB och det är fortfarande så att felet oftast saknar betydelse eftersom det blir rätt vid nästa läsning.

För att felet "skall bli permanent" krävs att den datamängd som lästs felaktigt antingen orsakar avvikelser i en beräkning/process och sedan skrivs på disk, eller att felet läses/kopieras och sen skrivs i samma fil eller en kopia.

Skulle det exempelvis dyka upp ett mindre fel i en text, film eller låt så spelar det ingen roll eftersom det då förmodligen maskeras och inte märks alls, och om det är en programfil så kanske skiten hänger sig eller bär sig lite konstigt åt. NÄSTA GÅNG programmet, låten, filmen eller vad det nu kan vara körs händer sannolikt inget konstigt alls, eftersom felet var momentant vid ett specifikt tillfälle...

Är du med?

Nej, jag är inte riktigt med. Problemet blir större när vi har mycket data. Säg att det är 1% risk att en människa dör i hjärtattack. Om vi har 9 miljoner människor, så kommer risken att någon dör öka. Ju fler bittar, desto större är risken att man råkar ut för bitröta.

Sen har du nog missuppfattat det där med att felet var spontant. Felet är inte spontant, och reparerar sig inte vid nästa gång man kör. Istället är felet permanent. När du kopierar din rar fil vidare till nästa dator, etc, och försöker öppna filen senare - så är det kört. Din fil är trasig. Och du vet inte vilken backup du ska gå tillbaka till för att hitta en korrekt kopia.

Snackar vi NT4 Server eller tidigare här? Vilken Win plattform refereras till, om det ens nu finns ngn fakta bakom detta?

MS hade en studie om detta och pratade om vikten av ECC RAM till Vista
http://www.tgdaily.c...emory-for-vista

Så min nästa dator ska använda ECC RAM, och dessutom köra en lösning som eliminerar bitröta och Silent Data Corruption.

[Unregisteredc96d6be8]

• 0

Att döma av alla inlägg så är ju tråden absolut intressant. För typ ett tiotal år sedan så minns jag att forskare flaggade för att digitala foton skulle "förstöras" om de lagrades för länge. Jag själv brukar ställa mig frågan, om jag tar ett digitalt lagrat material och flyttar det till annan fysisk lagring - är skadan redan skedd (om det nu skett någon skada) eller blir själva flytten/kopian en reparation i sig. Tänk om det är så att alla ettor och nollor vi sparat faktiskt har ett bäst före datum, vad händer då? Känns lite som om den klassiska frågan, hur långt är ett snöre?

Tror själv att problemet är ett "millenieproblem" dvs ett haussat problem som inte finns, men ändock frågeställningen är mycket intressant.

Att problemet finns tror jag de flesta är ganska överens om och givetvis behöver det tas med i beräkningen om du lagrar viktiga data på dina diskar, men samtidigt så finns det många risker som jag i slutänden tror är betydligt större, tex fysiska fel på en disk, dåligt skrivna program mm. Men därifrån till att du och jag skulle se det som att allvarligt problem och hög risk för våra filmarkiv är en helt annan sak.
Jag har mina filmer på servern av bekvämlighet, men att bygga en identisk server för att kunna ta backup på hela arkivet är knappast försvarbart Lagrar man däremot värdefulla data så är ju backup både billigt och nödvändigt av fler skäl än bitröta

[Unregistered277056c3]

• 0

...Nej, jag är inte riktigt med. Problemet blir större när vi har mycket data. Säg att det är 1% risk att en människa dör i hjärtattack. Om vi har 9 miljoner människor, så kommer risken att någon dör öka. Ju fler bittar, desto större är risken att man råkar ut för bitröta.

Sen har du nog missuppfattat det där med att felet var spontant. Felet är inte spontant, och reparerar sig inte vid nästa gång man kör. Istället är felet permanent. När du kopierar din rar fil vidare till nästa dator, etc, och försöker öppna filen senare - så är det kört. Din fil är trasig. Och du vet inte vilken backup du ska gå tillbaka till för att hitta en korrekt kopia.

Problemet blir givetvis större totalt sett, men risken för att en given fil skall drabbas blir inte större.

Det finns i grunden tre typer av fel:

• Spontana läsfel - momentana och ofta orsakade av störningar
• Permanenta läsfel - fel i diskens yta
• Skrivfel - felaktigt skriven data ofta orsakat av störningar

Inga fel "reparerar sig nästa gång man kör", men momentana läsfel är just momentana och nästa gång sker läsningen utan felaktigheter.
Permanenta fel i diskens yta är ingen uppgift tillverkarna brukar ange, och inte heller skrivfel.

Jag beskrev ganska tydligt förutsättningarna för att ett fel skall bli permanent, men om du inte behagar läsa innantill så slipper du givetvis...
Måste nog säga att du fortfarande verkar lite låst i ditt tänkande och tyvärr även en smula ointresserad av andras idéer och åsikter...

[Unregisteredc96d6be8]

• 0

En fråga som dök upp i mitt huvud med anslutning till den här tråden.
Finns det något filsystem som windows kan hantera som är tåligt mot den här typen av problem. Om problemet är så stort så vore de det konstigt om inte ms hade en lösning på det då många företag använder tex windows server.

Redigerat av Unregisteredc96d6be8, 03 February 2012 - 16:58.

[Unregistered277056c3]

• 0

En fråga som dök upp i mitt huvud med anslutning till den här tråden.
Finns det något filsystem som windows kan hantera som är tåligt mot den här typen av problem. Om problemet är så stort så vore de det konstigt om inte ms hade en lösning på det då många företag använder tex windows server.

Att diskar enstaka gånger skickar ut felaktiga data utan att indikera felet är inget man kan göra något åt utan att alltid läsa all data upprepade gånger. Problemet ligger i att vissa kombinationer av bitfel vid läsning från disken under vissa omständigheter kan ge en korrekt checksumma så att diskens firmware inte fattar att något gått galet...

[tyve]

• 0

Här har du en referens från CERN:
http://indico.cern.c...er&confId=13797
De kom fram till att när man lagrar viktiga data, så är hårdvaruraid inte något att lita på.

Här är en annan forskningsartikel:
http://research.cs.w...igmetrics07.pdf


Här har du en annan forskningsartikel
http://www.usenix.or...jiang/jiang.pdf


Flera referenser:
http://www.raidinc.c...-Corruption.pdf
http://www.raidinc.c...Data-Center.pdf

Det kryllar av referenser om du googlar lite på "Silent Corruption" och "bit rot". Men lagringsföretagen håller detta dolt, de vill inte att folk ska veta om detta. "Köp vår fina lagringslösning, men ibland så korruptas dina filer! Bra va?". Detta är en välkänd hemlighet i lagringsbranschen, som börjar sprida sig nu.

Men visst är det så att om man bara lagrar media, så är några flippade bitar inte något att hetsa upp sig över. Men lagrar man viktiga data, såsom databaser och viktiga dokument, så är bitröta ett problem som man bör tänka på, och göra allt för att undvika.

CERN rapporten är ett utkast gjord av deras IT-avdelning. Inte av forskare. En sak som jag reagerar i rapporten är att 80% av felen anses bero på ett firmware problem i diskarna. Känns spontant som hela undersökning borde gjorts om när man uppdagar ett så stort fel. Slutsatsen jag läser är att den inbyggda felkontrollen i de olika delarna som hanterar deras data inte är god nog för deras behov.

Två av artiklarna baserar sig på data från NetApp, en av de stora inom lagring. De har dessutom felkorrigering och skrubbning av data inbyggt i sina system. Det är därför det går att få ut data om detta problem från deras system. Stämmer knappast med dit påstående att lagringsföretagen håller det dolt.

De sista två referenserna är till Xuanadu, ett system som ska fixa silent data corruption. Ingen bra källa när man försöker avgöra hur relevant det här problemet är.

Slutligen är ditt påstående att "Detta är en välkänd hemlighet i lagringsbranschen" helt underbart. Nu börjar vi närma oss en konspirationsteori

[tyve]

• 0

Det är inte så stor skillnad på hårddiskar och floppy, det är i grunden samma teknik. Visst använder hårddiskar ECC, men den ECC funktionen som hårddiskar använder är inte jättebra. T.ex. om du tittar i specifikationen till SAS Enterprise diskar, eller för Fibre Channel diskar, så står det att det blir 1 okorrigerbart fel per 10^16 lästa bitar. Mao, även high end Fibre Channel har problem med ECC.


Siffran är ju bara ett genomsnittsvärde, det är ju bara statistik. Inget säger att just du råkar ut för detta. Men, faktum kvarstår, många får problem. Det som är jobbigt, är att man inte ens vet att man har problem! Det kallas Silent Data Corruption. Det är ungefär som jag säger "5% av alla villor har trämask. Jasså, det är nåt seriöst fel på siffran, vi har bott i vårt hus i 10 år utan att sett nåt"

Nej, det är inte ett procentuellt värde, det är ett snitt på hur mycket data man kan läsa innan ett fel uppstår. Det är mer som att säga att färgen som ni använder på huset klarar sig i snitt i 2 år. Och jag säger, konstigt måste vara något fel på den siffran eftersom alla husen i området som använt färgen har klarat sig i 10 år.

Men om du tycker, att det inte är någon stor skillnad mellan hårddiskar och floppy samt att ett fel på 10^16 bitar innebär att ECC i hårddiskar inte är bra, så förstår jag att du är orolig. Jag sover i alla fall gott på nätterna.

[sissel]

• 0

En fråga som dök upp i mitt huvud med anslutning till den här tråden.
Finns det något filsystem som windows kan hantera som är tåligt mot den här typen av problem. Om problemet är så stort så vore de det konstigt om inte ms hade en lösning på det då många företag använder tex windows server.

Nej det finns inget filsystem som Windows kan hantera som är tåligt mot denna typ av fel. Forskning visar att ntfs inte klarar av såna här fel:
http://www.zdnet.com...ata-at-risk/169
Inte heller klarar andra normala filsystem av såna här fel, t.ex xfs, jfs, reiserfs, ext3, etc. Läs länken. Jag har även visat länkar som visar att hårdvaruraid inte heller klarar av såna här fel. Läs länkarna jag bifogat. Det är kört. Du måste använda en ovanlig lösning om du ska klara dig mot denna typ av fel.

Nej, det är inte ett procentuellt värde, det är ett snitt på hur mycket data man kan läsa innan ett fel uppstår. Det är mer som att säga att färgen som ni använder på huset klarar sig i snitt i 2 år. Och jag säger, konstigt måste vara något fel på den siffran eftersom alla husen i området som använt färgen har klarat sig i 10 år.

Men om du tycker, att det inte är någon stor skillnad mellan hårddiskar och floppy samt att ett fel på 10^16 bitar innebär att ECC i hårddiskar inte är bra, så förstår jag att du är orolig. Jag sover i alla fall gott på nätterna.

Men det är fortfarande bara statistik. Jag säger inte att du kommer råka ut för det imorgon, men det är troligt att du kommer att råka ut för det, eller redan har råkat ut för det, men inte märkt något. En media fil som blir korrupt kanske visar en vit pixel istället för en blå. Men en rar fil som blir korrupt kan man inte öppna igen.

Och ECC i hårddiskar är inte tillräckligt bra, eftersom de eliminerar inte problemet med bitröta. De bara minskar risken, men inte tillräckligt mycket.

Problemet blir givetvis större totalt sett, men risken för att en given fil skall drabbas blir inte större.

Det finns i grunden tre typer av fel:

• Spontana läsfel - momentana och ofta orsakade av störningar
• Permanenta läsfel - fel i diskens yta
• Skrivfel - felaktigt skriven data ofta orsakat av störningar

Inga fel "reparerar sig nästa gång man kör", men momentana läsfel är just momentana och nästa gång sker läsningen utan felaktigheter.
Permanenta fel i diskens yta är ingen uppgift tillverkarna brukar ange, och inte heller skrivfel.

Jag beskrev ganska tydligt förutsättningarna för att ett fel skall bli permanent, men om du inte behagar läsa innantill så slipper du givetvis...
Måste nog säga att du fortfarande verkar lite låst i ditt tänkande och tyvärr även en smula ointresserad av andras idéer och åsikter...

Absolut har du rätt, det ökar inte risken för en specifik fil, men risken att du någon gång får datakorruption ökar ju mer data du har. T.ex. läser du 200MB/sek så tar det 100 timmar innan du råkat ut för ett sånt här fel, på hårdvaruraid. Rent statistiskt.

Att diskar enstaka gånger skickar ut felaktiga data utan att indikera felet är inget man kan göra något åt utan att alltid läsa all data upprepade gånger. Problemet ligger i att vissa kombinationer av bitfel vid läsning från disken under vissa omständigheter kan ge en korrekt checksumma så att diskens firmware inte fattar att något gått galet...

Precis. Vi verkar vara överens. Som studier visar så blir det massor av data korruption, i det verkliga livet, om man större mängder data. Typ, ett par TB data.

CERN rapporten är ett utkast gjord av deras IT-avdelning. Inte av forskare. En sak som jag reagerar i rapporten är att 80% av felen anses bero på ett firmware problem i diskarna. Känns spontant som hela undersökning borde gjorts om när man uppdagar ett så stort fel. Slutsatsen jag läser är att den inbyggda felkontrollen i de olika delarna som hanterar deras data inte är god nog för deras behov.

Två av artiklarna baserar sig på data från NetApp, en av de stora inom lagring. De har dessutom felkorrigering och skrubbning av data inbyggt i sina system. Det är därför det går att få ut data om detta problem från deras system. Stämmer knappast med dit påstående att lagringsföretagen håller det dolt.

De sista två referenserna är till Xuanadu, ett system som ska fixa silent data corruption. Ingen bra källa när man försöker avgöra hur relevant det här problemet är.

Slutligen är ditt påstående att "Detta är en välkänd hemlighet i lagringsbranschen" helt underbart. Nu börjar vi närma oss en konspirationsteori

CERN rapporten är gjord av deras dataavdelning. De har massor av forskare, inte bara i fysik. Det är stora problem inom datavetenskapen när de försöker lagra flera PB med data, och scanna igenom datat. Lagrar man flera PB med data, så _kommer_ man att råka ut för data korruption. Detta är ett stort problem för CERN. Tänk om de missar att finna Higgs boson, pga lite bitröta? Det vore katastrof, många miljarder och flera tusen forskares arbetstid - rätt ned i sjön. CERN har massa datavetenskapsmän också, som försöker forska i hur man lagrar många PB data säkert, och hur man scannar igenom allt snabbt nog. CERN säger även att de har löst problemet med data korruption, och bit röta nu.

Angående att mycket av felen som CERN hade, berodde på buggar i firmware. Du anser att CERN borde göra om studien, pga det bara var buggar i firmware. Problemet är dock att mycket av datakorruptionen beror på just firmware buggar. En studie utav 39.000 lagringslösningar, visar att 5-10% av alla fel beror på firmware buggar. Så man kan inte bortse från såna källor till bitröta:
http://www.usenix.or...jiang/jiang.pdf
Det är ungefär som att säga "80% av alla buggar i program beror på pekarfel, därför bör vi bortse från just såna buggar och göra om studien". Men alla program har pekarfel och man kan inte komma ifrån dem, och därför kan man inte bortse från såna fel. Här finns en analys av CERNs rapport:
http://www.zdnet.com...an-you-know/191

Amazons S3 cloud lösning har råkat ut för data korruption. Det pratas om att man manuellt ska göra MD5 checksummor på varje fil, hela tiden. För om checksumman ändras, så vet man att filen korruptats.
https://forums.aws.a...?threadID=22709

NetApps databas bevisar att det förekommer datakorruption. Så NetApp instämmer i att datakorruption förekommer.

Angående att data korruption är en "hemlighet". Självklart är det inte en hemlighet på riktigt, jag menar bara att de inte pratar om det högt.
http://www.businessc...in-2011-part-1/
"A deep, dark secret in the storage industry is that over time systems suffer from bit-rot and other insidious, incremental failures that make it increasingly likely that your data just won’t be available when you need it."

Det finns även andra länkar som visar att t.ex. banker som råkat ut för data korruption inte pratar högt om det. Hårdvaruraid skyddar inte mot bitröta, men ingen hårdvaruraid tillverkare pratar om det. Kanske känner de inte till problemet?

(Det är ungefär som att cpu tillverkarna inte pratar högt om det faktum att en server cpu under full load, dvs kör 100% load, väntar på data ca 50-60% av tiden. Mao, en x86 cpu som kör server load, idlar 50-60% av tiden. Under max load. Pga cache missar. Detta pratar inte cpu tillverkare högt om. Eller att banker som hackats inte pratar högt om det. Dessa saker är ingen konspirationsteori).

[dunde]

• 0

OK, du och CERN som behöver vara oroliga då.

[maximm]

• 0

Jag visste inte vad bitrot var, men nu när jag tänker efter så tror jag att jag fått det. I somras var min bovärd här, och han drog ut proppen när min dator stod och tuggade under en filöverförning till extern disk. Visade sig senare att nästan alla rararkiv på de två diskarna hade blivit korrupta i en eller flera filer och fick kasseras.

Var det bitrot? Uppackade filmer gick att spela fint, och diskarna fungerade bra efteråt.

[Unregisteredc96d6be8]

• 0

Nej det finns inget filsystem som Windows kan hantera som är tåligt mot denna typ av fel. Forskning visar att ntfs inte klarar av såna här fel:
http://www.zdnet.com...ata-at-risk/169
Inte heller klarar andra normala filsystem av såna här fel, t.ex xfs, jfs, reiserfs, ext3, etc. Läs länken. Jag har även visat länkar som visar att hårdvaruraid inte heller klarar av såna här fel. Läs länkarna jag bifogat. Det är kört. Du måste använda en ovanlig lösning om du ska klara dig mot denna typ av fel.

Då är jag verkligen inte orolig, de flesta ställen jag jobbat på har kört nån form av windowsserver och haft utbildad personal att sköta den och inte haft några problem. Tror nån här överdriver risken nått enormt

Redigerat av Unregisteredc96d6be8, 04 February 2012 - 03:03.

[masse70]

• 0

*tar på foliehatten*

[sissel]

• 0

Jag visste inte vad bitrot var, men nu när jag tänker efter så tror jag att jag fått det. I somras var min bovärd här, och han drog ut proppen när min dator stod och tuggade under en filöverförning till extern disk. Visade sig senare att nästan alla rararkiv på de två diskarna hade blivit korrupta i en eller flera filer och fick kasseras.

Var det bitrot? Uppackade filmer gick att spela fint, och diskarna fungerade bra efteråt.

Japp, det var en form av bitröta, det finns många olika typer. Data korruption är samlingsnamnet för alla såna typer av problem. Såna problem är vanligare än man tror. Speciellt som inte ens datorn märker det. Du får ingen varning. Men ett år senare när du ska använda din rar fil, så går den inte att öppna. Den har blivit korrupt. Det var bra att du upptäckte det så snabbt. I värsta fall kunde det dröjt år innan du skulle använda rar filerna, och du hade då trott att allt var bra, men det var det inte.

Så egentligen, för att vara på den säkra sidan, så måste man efter varje kopiering göra en kontroll av varje fil för att se att den inte förvanskades under kopieringen. Gör en MD5 checksumma av filen innan kopieringen. Sen jämför du kopian genom att beräkna dess MD5 checksumma. Om båda checksummorna är lika, så är allt ok och kopieringen gick bra. Men får du t.ex. en liten strömspik mitt under kopieringen så kanske inte ditt power supply kan hantera strömspiken och data förvanskas. Så därför bör man jämföra checksummor mellan original och kopia. Dock ska man veta att allt eftersom tiden går, så kommer fler och fler bittar att flippas slumpmässigt. Det är alltid så, disketter och hårddiskar funkar likadant ur den aspekten. Båda är magnetiska. Så med jämna mellanrum måste man göra MD5 checksummor för att se om datat ruttnat över tiden, dvs bitröta. Gör man allt detta så är man förstås helt säker på att ens data är intakta. Man måste alltså ha en form av checksumma som beräknas hela tiden.

Då är jag verkligen inte orolig, de flesta ställen jag jobbat på har kört nån form av windowsserver och haft utbildad personal att sköta den och inte haft några problem. Tror nån här överdriver risken nått enormt

Bitröta var inget problem för 5 år sen, när diskarna var små. Men idag har många flera TB stora raid, och det är först nu man börjar få så mycket data att det märks.

Antag att det är 1% risk att man får hjärtattack, och man hela tiden bott i en liten by. Så säger man "jag har träffat människor och aldrig har nån fått hjärtattack, det hela är överdrivet". Men sen kanske man flytttar till en storstad, och där kommer folk få hjärtattack hela tiden, eller hur? Det är alltid en hjärtattack per dag, typ. Ju fler folk, desto större är risken att nåt inträffar varje dag, även om det är liten chans att just en viss människa får hjärtattack.

Har man jobbat med Windows för 10 år sen, så satt folk på 1GB stora diskar. Och det var inte nån risk för bitröta. Idag har en vanlig windows lagringsserver kanske 10TB och uppåt. Med så mycket data, så finns det sannolikt bitröta nånstans. När vi får 10TB diskar, och skapar 100TB raid, så kommer nästan alla ha bitröta med så mycket data. Man måste börja jobba mot det redan nu, säger CERN.

Eftersom vi har mer och mer data, så tror jag att man ska satsa på ECC RAM och nån lösning som eliminerar bitröta på diskar. Som gör det automatiskt, så slipper man göra MD5 checksummor hela tiden.

*tar på foliehatten*

Hur menar du nu? Avfärdar du all forskning som gjorts på området? Menar du att alla forskare och professorer i datavetenskap på universiteten och på CERN, och experterna på stora lagringsföretag som NetApp, EMC, etc - alla har fel? De bara inbillar sig?

[Tellus82]

• 0

Är ni inte rädda för att era filer ska korruptas?

Jag menar, det finns ju ett skäl att man använder ECC RAM stickor i servrar; därför att bitar flippar slumpmässigt i RAM. RAM korruptas sakta, detta kallas ju även bitröta.

Exakt samma sak händer på diskar. T.ex. hårdvaruraid är ju ökänt för att ha massa problem med att filer sakta korruptas. Även NTFS har ju massa problem. Tänk själv om man har en gammal rar fil, eller doc fil, och bitar har sakta ruttnat. Sen så försöker man öppna filerna långt senare, men det går inte. Pga filen är korrupt.

Är ni inte rädda för bitröta?

Svar: Nej
Anledningen till att jag inte är oroad över bitröta är att jag vet att 1 bit per 12TB gör precis ingenting för en hemanvändare, inte ens om denna bit råkar vara i en header kommer det skapa några speciella problem, att sedan microsoft lägger 30% av krasher på just bitflip i ram är ju jäkligt förvånande...

Du gör en höna av en fjäder helt enkelt, storm i ett vattenglas. Varför inte ta upp ett verkligt problem för hemanvändare? såsom felaktiga firmwares & kontrollers i SSD diskar, vilket det idag kryllar av på marknaden där man kan bli av med rätt ansenliga mängder data på väldigt kort tid...

Jag säger inte att bitröta inte finns men snälla människa lär dig se hur allvarligt ett problem egentligen är.

[Unregisteredc96d6be8]

• 0

Japp, det var en form av bitröta, det finns många olika typer. Data korruption är samlingsnamnet för alla såna typer av problem. Såna problem är vanligare än man tror. Speciellt som inte ens datorn märker det. Du får ingen varning. Men ett år senare när du ska använda din rar fil, så går den inte att öppna. Den har blivit korrupt. Det var bra att du upptäckte det så snabbt. I värsta fall kunde det dröjt år innan du skulle använda rar filerna, och du hade då trott att allt var bra, men det var det inte.

Så egentligen, för att vara på den säkra sidan, så måste man efter varje kopiering göra en kontroll av varje fil för att se att den inte förvanskades under kopieringen. Gör en MD5 checksumma av filen innan kopieringen. Sen jämför du kopian genom att beräkna dess MD5 checksumma. Om båda checksummorna är lika, så är allt ok och kopieringen gick bra. Men får du t.ex. en liten strömspik mitt under kopieringen så kanske inte ditt power supply kan hantera strömspiken och data förvanskas. Så därför bör man jämföra checksummor mellan original och kopia. Dock ska man veta att allt eftersom tiden går, så kommer fler och fler bittar att flippas slumpmässigt. Det är alltid så, disketter och hårddiskar funkar likadant ur den aspekten. Båda är magnetiska. Så med jämna mellanrum måste man göra MD5 checksummor för att se om datat ruttnat över tiden, dvs bitröta. Gör man allt detta så är man förstås helt säker på att ens data är intakta. Man måste alltså ha en form av checksumma som beräknas hela tiden.


Bitröta var inget problem för 5 år sen, när diskarna var små. Men idag har många flera TB stora raid, och det är först nu man börjar få så mycket data att det märks.

Antag att det är 1% risk att man får hjärtattack, och man hela tiden bott i en liten by. Så säger man "jag har träffat människor och aldrig har nån fått hjärtattack, det hela är överdrivet". Men sen kanske man flytttar till en storstad, och där kommer folk få hjärtattack hela tiden, eller hur? Det är alltid en hjärtattack per dag, typ. Ju fler folk, desto större är risken att nåt inträffar varje dag, även om det är liten chans att just en viss människa får hjärtattack.

Har man jobbat med Windows för 10 år sen, så satt folk på 1GB stora diskar. Och det var inte nån risk för bitröta. Idag har en vanlig windows lagringsserver kanske 10TB och uppåt. Med så mycket data, så finns det sannolikt bitröta nånstans. När vi får 10TB diskar, och skapar 100TB raid, så kommer nästan alla ha bitröta med så mycket data. Man måste börja jobba mot det redan nu, säger CERN.

Eftersom vi har mer och mer data, så tror jag att man ska satsa på ECC RAM och nån lösning som eliminerar bitröta på diskar. Som gör det automatiskt, så slipper man göra MD5 checksummor hela tiden.


Hur menar du nu? Avfärdar du all forskning som gjorts på området? Menar du att alla forskare och professorer i datavetenskap på universiteten och på CERN, och experterna på stora lagringsföretag som NetApp, EMC, etc - alla har fel? De bara inbillar sig?

Kan tala om att de ställen jag jobbat på har haft åtskilliga tb i lagring i sina windowsservrar, som sagt, vore det ett så gigantiskt problem så hade ms garanterat fixat ett filsystem i klass med zfs de också. min egen server rymmer inte mer än 13tb och de diskarna har jag haft ett par år nu och kört whs på, nu har jag bytt till amahi, med ext4 och jag borde nån gång märkt problemet med att en fil inte gått att öppna, det har hänt, men det har bara varit att försöka igen så har filen funkat perfekt.

Redigerat av Unregisteredc96d6be8, 04 February 2012 - 12:19.

[spelevinken]

• 0

*tar på foliehatten*

Jag med.

År inte sunt förnuft/självbevarelsedrift lösningen på allt problem med bitröta. Har jag filer som jag inte vill förlora så ser jag till att kopiera till olika lagringsmedier både en och två gånger. Problemet är väl istället att man inte använder sitt sunda förnuft dvs man lagrar allt på ETT ställe och tror att det finns där för alltid. Tror att risken för en fysisk stöld av data är långt större än bitröta. Kör själv med WHS server och lagrar ingen data på klienterna, vad jag däremot ser till är att göra backup på filer jag inte vill bli av med både internt och externt. För detta krävs ingen form av raid utan istället ser jag till att tänka till innan olyckan är framme, raid eller inte - om tillfället gör tjuven så är datan borta i vilket fall om datan finns på samma fysiska plats.

[sissel]

• 0

Anledningen till att jag inte är oroad över bitröta är ...

Du gör en höna av en fjäder helt enkelt, storm i ett vattenglas. Varför inte ta upp ett verkligt problem för hemanvändare? såsom felaktiga firmwares & kontrollers i SSD diskar, vilket det idag kryllar av på marknaden där man kan bli av med rätt ansenliga mängder data på väldigt kort tid...

Jag säger inte att bitröta inte finns men snälla människa lär dig se hur allvarligt ett problem egentligen är.

Felaktiga firmware och kontrollers är en av felkällorna till bitröta. Du är orolig för buggar i firmware, pga de kan orsaka bitröta.

[Unregisteredd0294629]

• 0

Det som är jobbigt, är att man inte ens vet att man har problem! Det kallas Silent Data Corruption. Det är ungefär som jag säger "5% av alla villor har trämask. Jasså, det är nåt seriöst fel på siffran, vi har bott i vårt hus i 10 år utan att sett nåt"

Oh nej! Jag har ett problem som inte påverkar mig!

Inte världens bästa liknelse där. Trämask kan säker kosta rätt mycket att fixa. En bitrot på datorn påverkar en fil. Även om vi tänker att detta gör filen helt oläsligt är det ett problem som knappast är värt att lägga några resurser alls på, då genomsnittsfilen på de flesta datorer är värda väldigt väldigt lite. De filer som faktiskt är värda något borde vidare redan ha säkerhetskopier annorstädes för mer reella problem som kan drabba hårddiskar.

Jag kan vidare räkna antalet krasher hos min hemdator varje år på en hand. Tror jag hellre tar en extra krash eller så per år än att behöva lägga tid på att hitta passande ECC-minnen (fann inga senast)...

[masse70]

• 0

Hur menar du nu? Avfärdar du all forskning som gjorts på området? Menar du att alla forskare och professorer i datavetenskap på universiteten och på CERN, och experterna på stora lagringsföretag som NetApp, EMC, etc - alla har fel? De bara inbillar sig?

Jag menar det jag menat hela tiden, att du tagit något som någon hittat något om och gör det till ett jätteproblem som knappt någon drabbats av, känner igen sig i eller lider av i praktiken.

Det är ju som med ljud, massor av parametrar går att mäta, sen om det är en hörbar skillnad i praktiken är en helt annan.

Förstår fortfarande inte vad du vill med denna tråd, klart märkligaste tråden på länge.

[tyve]

• 0

Nej det finns inget filsystem som Windows kan hantera som är tåligt mot denna typ av fel. Forskning visar att ntfs inte klarar av såna här fel:
http://www.zdnet.com...ata-at-risk/169
Inte heller klarar andra normala filsystem av såna här fel, t.ex xfs, jfs, reiserfs, ext3, etc. Läs länken. Jag har även visat länkar som visar att hårdvaruraid inte heller klarar av såna här fel. Läs länkarna jag bifogat. Det är kört. Du måste använda en ovanlig lösning om du ska klara dig mot denna typ av fel.


Men det är fortfarande bara statistik. Jag säger inte att du kommer råka ut för det imorgon, men det är troligt att du kommer att råka ut för det, eller redan har råkat ut för det, men inte märkt något. En media fil som blir korrupt kanske visar en vit pixel istället för en blå. Men en rar fil som blir korrupt kan man inte öppna igen.

Och ECC i hårddiskar är inte tillräckligt bra, eftersom de eliminerar inte problemet med bitröta. De bara minskar risken, men inte tillräckligt mycket.


Absolut har du rätt, det ökar inte risken för en specifik fil, men risken att du någon gång får datakorruption ökar ju mer data du har. T.ex. läser du 200MB/sek så tar det 100 timmar innan du råkat ut för ett sånt här fel, på hårdvaruraid. Rent statistiskt.


Precis. Vi verkar vara överens. Som studier visar så blir det massor av data korruption, i det verkliga livet, om man större mängder data. Typ, ett par TB data.


CERN rapporten är gjord av deras dataavdelning. De har massor av forskare, inte bara i fysik. Det är stora problem inom datavetenskapen när de försöker lagra flera PB med data, och scanna igenom datat. Lagrar man flera PB med data, så _kommer_ man att råka ut för data korruption. Detta är ett stort problem för CERN. Tänk om de missar att finna Higgs boson, pga lite bitröta? Det vore katastrof, många miljarder och flera tusen forskares arbetstid - rätt ned i sjön. CERN har massa datavetenskapsmän också, som försöker forska i hur man lagrar många PB data säkert, och hur man scannar igenom allt snabbt nog. CERN säger även att de har löst problemet med data korruption, och bit röta nu.

Angående att mycket av felen som CERN hade, berodde på buggar i firmware. Du anser att CERN borde göra om studien, pga det bara var buggar i firmware. Problemet är dock att mycket av datakorruptionen beror på just firmware buggar. En studie utav 39.000 lagringslösningar, visar att 5-10% av alla fel beror på firmware buggar. Så man kan inte bortse från såna källor till bitröta:
http://www.usenix.or...jiang/jiang.pdf
Det är ungefär som att säga "80% av alla buggar i program beror på pekarfel, därför bör vi bortse från just såna buggar och göra om studien". Men alla program har pekarfel och man kan inte komma ifrån dem, och därför kan man inte bortse från såna fel. Här finns en analys av CERNs rapport:
http://www.zdnet.com...an-you-know/191

Amazons S3 cloud lösning har råkat ut för data korruption. Det pratas om att man manuellt ska göra MD5 checksummor på varje fil, hela tiden. För om checksumman ändras, så vet man att filen korruptats.
https://forums.aws.a...?threadID=22709

NetApps databas bevisar att det förekommer datakorruption. Så NetApp instämmer i att datakorruption förekommer.

Angående att data korruption är en "hemlighet". Självklart är det inte en hemlighet på riktigt, jag menar bara att de inte pratar om det högt.
http://www.businessc...in-2011-part-1/
"A deep, dark secret in the storage industry is that over time systems suffer from bit-rot and other insidious, incremental failures that make it increasingly likely that your data just won’t be available when you need it."

Det finns även andra länkar som visar att t.ex. banker som råkat ut för data korruption inte pratar högt om det. Hårdvaruraid skyddar inte mot bitröta, men ingen hårdvaruraid tillverkare pratar om det. Kanske känner de inte till problemet?

(Det är ungefär som att cpu tillverkarna inte pratar högt om det faktum att en server cpu under full load, dvs kör 100% load, väntar på data ca 50-60% av tiden. Mao, en x86 cpu som kör server load, idlar 50-60% av tiden. Under max load. Pga cache missar. Detta pratar inte cpu tillverkare högt om. Eller att banker som hackats inte pratar högt om det. Dessa saker är ingen konspirationsteori).

Problemet är att du blandar fel som upptäcks när man läser datat med tysta fel. Det andra antagandet är att problemet inte existerat tidigare eftersom vi haft för små hårddiskar.

Vi har nu större hårddiskar men risken för att en 10 MB fil ska vara skadad på en 20 MB hårddisk eller en 2 TB disk är lika stor om de har samma tillförlitlighetsvärden. Risken för att de ska finnas någon skadad fil ökar om vi lagrar mer, men det som tar upp den mesta platsen för i princip alla är video och bilder. Där har vi enats om att det är inget problem om några bitar blir fel.

Kvarstår är den mängd med data som är känslig för felaktiga bitar. CERN har en extremt stor sådan mängd, och de har därför gjort en studie på tillförlitligheten i sina system och vilka åtgärder de behöver för att säkerställa sitt data. Det är inte en studie som är gjord för att gå att gälla för alla andra generellt. Att det finns många av världens toppforskare på CERN innebär inte att deras IT-avdelning behöver ha högre kompetens. Normala hemanvändare har inte någon större mängd data som är känslig när man tar bort filmer och bilder och det är därför fortfarande väldigt osannolikt att drabbas av problemet.

Du använder måttet URE (unrecoverable read error) som ett mått på när tysta fel uppstår. Det är fel. URE är fel som upptäcks och rapporteras till operativsystemet. Skulle man kopiera en fil och få ett URE innebär det att kopieringen misslyckas, inte att man får en felaktig kopia. Vad jag vet finns det inte något angivet värde för tysta fel på hårddiskar men det man kan utläsa av alla studierna av stora datamängder är att det inte är vanligare än URE i alla fall, dvs 1 felaktig bit på 12 TB data.

Mot alla andra fel än tysta fel kan man skydda sig genom att ha bra backup.

[Tellus82]

• 0

Felaktiga firmware och kontrollers är en av felkällorna till bitröta. Du är orolig för buggar i firmware, pga de kan orsaka bitröta.

ehh, nej inte det minsta, det jag oroar mig för med felaktig firmware & kontroller är totalt tappade sektorer, rent felaktigt skriven data, inkompabillitet med sata kontrollers, dålig lpm implementering etc etc etc... Bitröta är inte riktigt på den nivån...