DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   SQL baze podataka - Sponzor: Baze-Podataka.net (http://www.devprotalk.com/forumdisplay.php?f=10)
-   -   Prebacivanje slika iz blob polja u file (http://www.devprotalk.com/showthread.php?t=3988)

Djuki 13. 11. 2007. 13:15

Prebacivanje slika iz blob polja u file
 
U mysql bazi podataka se nalaze slike u blob polju. Kako je baza narasla, ovo je postao problem u izvrsavanju aplikacije jer je tabela u kojoj se nalazi ovo polje sa slikom dostiglo velicinu 41MB a ima 1500 slogova.

Da li postoji automatski nacin da se blob polja prebace na host u neki folder u jpg. formatu ili koji su vec te slike, a da se u to polje upise putanja do kreirane slike na hostingu.

Nadam se da sam bio jasan, cilj je da se u polju slika ne nalazi vise binarni zapis slike, vec putanja do slike, koja će se nalaziti na hostingu.

Ilija Studen 13. 11. 2007. 13:24

Citat:

Originalno napisao Djuki (Napišite 46614)
Da li postoji automatski nacin da se blob polja prebace na host u neki folder u jpg. formatu ili koji su vec te slike, a da se u to polje upise putanja do kreirane slike na hostingu.

Koliko znam ne, ali je ovo super trenutak da upotrebiš neki skript jezik ;) Nama je ovo trebalo baš nedavno - napraviš jednostavnu skripticu koja izvuče slog iz baze, sačuva ga na disk i updateuje određeno polje. Kako bismo izbegli probleme sa memorijom napravili smo da ide jedan po jedan fajl gde na kraju skripta ispiše meta refresh koje je ponovo pozove za 1 sekund. Otvoriš tab u browseru i pustiš da radi dok ne presloži sve.

Citat:

Originalno napisao Djuki (Napišite 46614)
U mysql bazi podataka se nalaze slike u blob polju. Kako je baza narasla, ovo je postao problem u izvrsavanju aplikacije jer je tabela u kojoj se nalazi ovo polje sa slikom dostiglo velicinu 41MB a ima 1500 slogova.

Malo off što se same teme tiče, ali zašto smatraš da je ovo veliki problem? Naravno, ako za svaki slog učitavaš i sadržaj (SELECT *) imaćeš problema sa memorijom pre ili kasnije, ali nadam se da to ne radiš.

Da li neko ima objektivan razlog zašto se ne bi trebalo da se čuvaju binarni podaci u bazi? Ja znam jedan (otežan backup i restore kroz neke klijente kao što je phpMyAdmin), ali to je manje više to. Neko iskusniji?

Djuki 13. 11. 2007. 13:33

Naravno da ne koristim select * froim table; , ali spajam ovu tabeli sa drugim tabelama, maksimalno sa još dve preko INNER JOIN. Da li misliš da ako tabela ima 41MB, to ne opterećuje procesor na hostingu. Mi upravo imamo problem što se upiti ponekad sporo izvršavaju, tačnije troši se puno procesorskih resursa. Opet ponekad se upiti izvšavaju dovoljno brzo pa nema "slow_queries" u mysql bazi, ali ponekad pri većoj poseti isti upiti se sporo izvršavaju i povećava se drastično broj slow_queries u mysql serveru, i raste potrošnja procesora.

Da li mislite da smanjivanje veličine ove tabele, i izbacivanje blob polja iz nje neće umanjiti potrošnju procesora.

Sve ostale tabele su oko 100KB.

ivanhoe 13. 11. 2007. 16:55

ne bi trebalo da je ta velicina problem, ja imam baze od 2-4GB koje rade bez problema join-e... ok, tabela od 4GB bas i nije rekorder u brzini, ali radi...

Djuki 13. 11. 2007. 17:16

Ova sto se brzine radi ok, ali trosi dosta CPU, trenutno je baza na VPS hostingu, ali ako ovo ne resi problem onda mora na dedicated.

srdjevic 14. 11. 2007. 22:50

Prodji bolje kroz upite i lupaj explain na njima. Moze lako da se desi da ti radi file sort nad rezultatom zato sto nemas index namesten na ORDER BY polju pa ne moze da sortira rezultat u memoriji ili tako nesto...

Tabela ti je vrlo, vrlo mala. Ako imas problema, proveri i velicinu kesha u db serveru i sve ostalo. Ovo ne bi trebalo da ti se desava. (isto iskustvo sa tabelama od 1+GB, radio na njoj i join sa jos 3 tabele, fercera sve...)

misk0 15. 11. 2007. 10:17

Citat:

Originalno napisao Ilija Studen (Napišite 46616)
Da li neko ima objektivan razlog zašto se ne bi trebalo da se čuvaju binarni podaci u bazi? Ja znam jedan (otežan backup i restore kroz neke klijente kao što je phpMyAdmin), ali to je manje više to. Neko iskusniji?

Pa neki od razloga su:
- brzi je pristup filesystemu nego bazi podataka
- smanjenje operacija - ovako moras iscitati blob polje, kreirati tmp datoteku i pokazati je u browseru pa onda brisati.
- ako je DB server na mrezi, povecavas promet jer je u pitanju staticki sadrzaj (slike) koje mogu da budu i na web serveru.

Ima smisla ukoliko se radi o distribuiranom sistem, vishe web servera a jedan DB, ima smisla kad ima preko nekoliko miliona recorda (zbog filesystem ogranicenja na broj fajlova u jednom folderu i usporavanje pristupa tim fajlovima kad je broj veliki).

ivanhoe 15. 11. 2007. 10:40

kad se radi o slikama znacajno je takodje i sto je serviranje statickih fajlova preko web servera direktno znatno (reda 10x) brze nego preko skripte... a tu je i znacajno veca upotreba memorije kad se kopiraju velike kolicine podataka izmedju baze i skripte jer npr. kod klasicnih (buffered) querija php drajveri uvek prvo naprave kopiju podataka iz baze, pa ih tek onda daju skripti (a onda ih mi u skripti obicno opet kopiramo u neku promenjivu, itd..).

a moze se postaviti i kontra pitanje cemu uopste drzanje BLOB polja? Koje su prednosti toga, sem malkice jednostavnije brisanje..

Djuki 16. 11. 2007. 00:18

Posle prebacivanja slika, iz baze na hard disk hostinga, tabela se sa 41MB smanjila na 300KB. Potrosnja procesora drasticno umanjila, eto jos jednog razloga zasto ne koristiti bazu podataka za prikazivanje slika.

Load procesora je isao do 15 a sada je ode na 1 kada je poseta jako velika, inace je oko 0.2

Sta mislito o ovome ?

srdjevic 16. 11. 2007. 18:11

Djuki, o trenutnoj postavci (bar ja) ne mislim nista, jer to je sasvim normalno da se ponasa tako sa 300kb tabelama.

Ali ipak bih pogledao zasto se zakucavao toliko na 41MB bazi. To ni u ludilu ne sme da se dogadja, premalo je to podataka da bi se gusio... Bolje sad to da vijas nego da cekas momenat kada stvarno budes imao 40MB u bazi (a koje mozda neces moci da maknes na disk)... ;-)


Vreme je GMT +2. Trenutno vreme je 15:54.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.