Er der nogen måde man kan implementere server side komprimering? Hvad vil det kræve?
this post was submitted on 01 Oct 2024
18 points (100.0% liked)
Feddit.dk
31 readers
10 users here now
Et meta-forum for nyheder, meddelelser og debatter omkring Feddit.dk i sig selv.
Man er også velkommen til at poste her hvis der ikke er nogen andre fællesskaber der passer.
founded 2 years ago
MODERATORS
Billeder bliver allerede omdannet til webp, som har en rimelig god komprimering.
Det man har brug for ville nærmere være at tillade lokale uploads uden at tillade eksterne uploads (altså caching af eksterne billeder). Det understøtter Lemmy bare ikke lige nu. Det ville kræve en ændring i Lemmy på en eller anden måde.
Nu aner jeg ikke hvad det koster at købe terabytes hos en hosting service, men en stak HDD's koster ikke alverden i dag, 12TB for ~2000kr, 6 stk med zfs vil give ca 48 TB brugbar plads med mulighed for at midste op til 2 HDDs. Med ca 100GB om måneden vil det tage pænt lang tid at fylde op. Det var blot et eksempel, men det kan jo sagtens gøres billigere. Er det overhovedet en løsning at selvhoste det eller er det at helt urealistisk. Vil godt være med til at sponsorere noget hardware, men det skal jo selvfølgelig give mening. Man kan sikkert også købe pænt meget plads for de samme penge, men som først sagt så aner jeg ikke hvad det koster i sammenligning.
Du har ikke lyst til at bruge harddiske da de er ret langsomme. Men der er andre gode grunde til at bruge object storage (backup, redundancy, osv), som Feddit.dk bruger lige nu til billedlageret. Det er ikke fordi det koster meget - det er blot steget fra cirka 0 til omkring 2 dollars i løbet af 3 måneder. Det så jeg helst ikke fortsatte.
RaidZ er nu fantastisk.
Og et praktisk setup er med en SSD cache til at forbedre skrive hastigheden men også læsehastighed for de mest brugte filer. Se billede herunder, med 6 HDD har du op til 4x læsehastighed
At bruge HDD er helt normalt i sådan et setup da flaskehalsen alligevel altid vil være din internetforbindelse. Selv med 1000Mbit kan du med blot en enkelt HDD udnytte hele hastigheden.
[Seagate ironwolf] Higher capacity drives deliver up to 7,200 RPM spin speed along with sustained data rates up to 180 MB/s and burst data rates of 6 Gb/s.
180MB/s = 1440 Mb/s
Interessant mht lager omkostningerne. Må man spørge ind til tallene for hvor meget mere det koster at lade upload grænsen være ved de 5MB?
Min tanke er at det vil evt gå ud over brugervenligheden og evt oplevelsen fra nye brugere når de finder Feddit.dk?
Er der nogen mulighed for automatisk nedskallere billeder ved upload til feddit.dk?
Må man spørge ind til tallene for hvor meget mere det koster at lade upload grænsen være ved de 5MB?
Det er ikke noget jeg tror jeg kan gætte særlig præcist, men jeg kan se på graferne at der har været meget mere aktivitet inden for de sidste tre måneder end tidligere:
Nu lægger der altså 300 GB cirka i forhold til en noget mindre mængde for 3 måneder siden. Lemmy understøtter lige nu ikke rigtig på nogen god måde at undgå dette ekstra lager, så vidt jeg ved, udover at sænke uploadgrænsen.
Min tanke er at det vil evt gå ud over brugervenligheden og evt oplevelsen fra nye brugere når de finder Feddit.dk?
Det vil det givetvis. Uploadgrænsen er allerede nævnt forskellige steder så forhåbentlig kan nye brugere finde ud af det stadigvæk.
Er der nogen mulighed for automatisk nedskallere billeder ved upload til feddit.dk?
Hm... måske? Men jeg ved ikke om det er ønskværdigt. Jeg ville hellere linke til et eksternt billede end jeg ville vise et lokalt billede der er i værre kvalitet end den originale.
Det mærkelige er at uploadgrænsen blev sat op for lang tid siden, meget længere end de 3 måneder. Men det kan være vi har fået mere aktivitet lokalt efterhånden som flere brugere har fundet flere og flere fællesskaber, så brugeradfærd har også en påvirkning på det.
Interesant!
Vil det sige at hvis jeg, som bruger af Feddit.dk oploader et billede til et community der ligger uden for feddit.dk, så bliver billedet gemt her hos feddit.dk og ikke til det community jeg har oploaded det hos? eller forstår jeg det helt forkert?
Når du uploader et billede så uploader du det altid til Feddit.dk, da du er en bruger på Feddit.dk (medmindre du aktivt bruger en ekstern billedhost og så linker til billedet).
Så når du laver et billedindlæg i et eksternt fællesskab vil du uploade billedet til Feddit.dk og så laver du indlægget. Indlægget vil herefter blive sendt til andre instanser. De andre instanser vil downloade billedet og lægge det i deres eget billedlager, for at sikre at deres brugere kan hente det hurtigere, hvis altså billedet ikke overstiger den instans uploadgrænse (i det tilfælde vil de blot linke til billedet på Feddit.dk). Det samme sker når en ekstern bruger uploader noget hos deres egen instans og det indlæg bliver sendt til Feddit.dk, selvfølgelig.
Det kommer hurtigt til at blive et problem der kun bliver større!
Ja, det er vel et temmeligt grundlæggende problem for lemmy - evt. hele ActivityPub protokollen...
Det har faktisk ikke så meget at gøre med ActivityPub som sådan - der er ikke noget i ActivityPub der siger at man skal downloade alt indhold og holde det for evigt lokalt. Det er kun Lemmy's implementation af ActivityPub der er lidt suboptimal på dette punkt.
Det var godt - så er det nemmere at "fikse" eller hvad man nu skal sige
Er det ikke cached billeder som fylder de 300GB? Lemmy catcher jo stort set al data, men er pisse dårlig til at rydde op i det igen.
Mener der er en indstilling for pict-rs hvad et cached billede max må være.
Jo altså det er klart ikke 300 GB fra lokale brugere lol.
Pict-rs indstillinger gælder for alle billeder. Fra pict-rs's synspunkt er der ingen forskel på lokale eller eksterne billeder.
Hvis storage er den store udgift, så kan jeg anbefale en storage box fra Hetzner og så koble den på mappen hvor alle billeder og video ligger.
Feddit.dk bruger object storage, så det giver ikke mening. Jeg bruger dog storage box til backups.
Det er heller ikke fordi storage er den store udgift. Den er kun på 2 dollars per måned cirka indtil videre. Men det er en konstant stigende udgift og det er det der bekymrer mig.