DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > SQL baze podataka - Sponzor: Baze-Podataka.net
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

SQL baze podataka - Sponzor: Baze-Podataka.net MySQL, MSSQL, Oracle, Access, ODBC. Ako imate problem brže i preciznije ćete dobiti odgovor ako priložite strukturu tabela ili skript koji kreira tabele i puni ih test podacima umesto što to problem opisujete samo rečima. Sponzor: Baze-Podataka.net - Blog o bazama podataka

Odgovori
 
Alati teme Način prikaza
Staro 13. 11. 2007.   #1
Djuki
profesionalac
Professional
 
Avatar Djuki
 
Datum učlanjenja: 09.06.2005
Lokacija: Pancevo
Poruke: 251
Hvala: 60
47 "Hvala" u 34 poruka
Djuki is on a distinguished road
Pošaljite ICQ poruku za Djuki Pošaljite poruku preko Skype™ za Djuki
Post Prebacivanje slika iz blob polja u file

U mysql bazi podataka se nalaze slike u blob polju. Kako je baza narasla, ovo je postao problem u izvrsavanju aplikacije jer je tabela u kojoj se nalazi ovo polje sa slikom dostiglo velicinu 41MB a ima 1500 slogova.

Da li postoji automatski nacin da se blob polja prebace na host u neki folder u jpg. formatu ili koji su vec te slike, a da se u to polje upise putanja do kreirane slike na hostingu.

Nadam se da sam bio jasan, cilj je da se u polju slika ne nalazi vise binarni zapis slike, vec putanja do slike, koja će se nalaziti na hostingu.
__________________
Blog | Facebook | Twitter | PHP Srbija
Djuki je offline   Odgovorite uz citat
Staro 13. 11. 2007.   #2
Ilija Studen
Direktor Kombinata
Invented the damn thing
 
Avatar Ilija Studen
 
Datum učlanjenja: 07.06.2005
Poruke: 2.669
Hvala: 44
119 "Hvala" u 64 poruka
Ilija Studen će postati "faca" uskoroIlija Studen će postati "faca" uskoro
Default

Citat:
Originalno napisao Djuki Pogledajte poruku
Da li postoji automatski nacin da se blob polja prebace na host u neki folder u jpg. formatu ili koji su vec te slike, a da se u to polje upise putanja do kreirane slike na hostingu.
Koliko znam ne, ali je ovo super trenutak da upotrebiš neki skript jezik Nama je ovo trebalo baš nedavno - napraviš jednostavnu skripticu koja izvuče slog iz baze, sačuva ga na disk i updateuje određeno polje. Kako bismo izbegli probleme sa memorijom napravili smo da ide jedan po jedan fajl gde na kraju skripta ispiše meta refresh koje je ponovo pozove za 1 sekund. Otvoriš tab u browseru i pustiš da radi dok ne presloži sve.

Citat:
Originalno napisao Djuki Pogledajte poruku
U mysql bazi podataka se nalaze slike u blob polju. Kako je baza narasla, ovo je postao problem u izvrsavanju aplikacije jer je tabela u kojoj se nalazi ovo polje sa slikom dostiglo velicinu 41MB a ima 1500 slogova.
Malo off što se same teme tiče, ali zašto smatraš da je ovo veliki problem? Naravno, ako za svaki slog učitavaš i sadržaj (SELECT *) imaćeš problema sa memorijom pre ili kasnije, ali nadam se da to ne radiš.

Da li neko ima objektivan razlog zašto se ne bi trebalo da se čuvaju binarni podaci u bazi? Ja znam jedan (otežan backup i restore kroz neke klijente kao što je phpMyAdmin), ali to je manje više to. Neko iskusniji?
Ilija Studen je offline   Odgovorite uz citat
Staro 13. 11. 2007.   #3
Djuki
profesionalac
Professional
 
Avatar Djuki
 
Datum učlanjenja: 09.06.2005
Lokacija: Pancevo
Poruke: 251
Hvala: 60
47 "Hvala" u 34 poruka
Djuki is on a distinguished road
Pošaljite ICQ poruku za Djuki Pošaljite poruku preko Skype™ za Djuki
Default

Naravno da ne koristim select * froim table; , ali spajam ovu tabeli sa drugim tabelama, maksimalno sa još dve preko INNER JOIN. Da li misliš da ako tabela ima 41MB, to ne opterećuje procesor na hostingu. Mi upravo imamo problem što se upiti ponekad sporo izvršavaju, tačnije troši se puno procesorskih resursa. Opet ponekad se upiti izvšavaju dovoljno brzo pa nema "slow_queries" u mysql bazi, ali ponekad pri većoj poseti isti upiti se sporo izvršavaju i povećava se drastično broj slow_queries u mysql serveru, i raste potrošnja procesora.

Da li mislite da smanjivanje veličine ove tabele, i izbacivanje blob polja iz nje neće umanjiti potrošnju procesora.

Sve ostale tabele su oko 100KB.
__________________
Blog | Facebook | Twitter | PHP Srbija
Djuki je offline   Odgovorite uz citat
Staro 13. 11. 2007.   #4
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

ne bi trebalo da je ta velicina problem, ja imam baze od 2-4GB koje rade bez problema join-e... ok, tabela od 4GB bas i nije rekorder u brzini, ali radi...
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 13. 11. 2007.   #5
Djuki
profesionalac
Professional
 
Avatar Djuki
 
Datum učlanjenja: 09.06.2005
Lokacija: Pancevo
Poruke: 251
Hvala: 60
47 "Hvala" u 34 poruka
Djuki is on a distinguished road
Pošaljite ICQ poruku za Djuki Pošaljite poruku preko Skype™ za Djuki
Default

Ova sto se brzine radi ok, ali trosi dosta CPU, trenutno je baza na VPS hostingu, ali ako ovo ne resi problem onda mora na dedicated.
__________________
Blog | Facebook | Twitter | PHP Srbija
Djuki je offline   Odgovorite uz citat
Staro 14. 11. 2007.   #6
srdjevic
profesionalac
Professional
 
Datum učlanjenja: 15.06.2005
Lokacija: Chicago IL, USA
Poruke: 209
Hvala: 12
12 "Hvala" u 11 poruka
srdjevic is on a distinguished road
Default

Prodji bolje kroz upite i lupaj explain na njima. Moze lako da se desi da ti radi file sort nad rezultatom zato sto nemas index namesten na ORDER BY polju pa ne moze da sortira rezultat u memoriji ili tako nesto...

Tabela ti je vrlo, vrlo mala. Ako imas problema, proveri i velicinu kesha u db serveru i sve ostalo. Ovo ne bi trebalo da ti se desava. (isto iskustvo sa tabelama od 1+GB, radio na njoj i join sa jos 3 tabele, fercera sve...)

Poslednja izmena od srdjevic : 14. 11. 2007. u 23:55.
srdjevic je offline   Odgovorite uz citat
Staro 15. 11. 2007.   #7
misk0
majstor
Wrote a book
 
Avatar misk0
 
Datum učlanjenja: 30.01.2006
Lokacija: Lugano - Switzerland
Poruke: 1.251
Hvala: 219
106 "Hvala" u 67 poruka
misk0 će postati "faca" uskoromisk0 će postati "faca" uskoro
Pošaljite ICQ poruku za misk0 Pošaljite poruku preko Skype™ za misk0
Default

Citat:
Originalno napisao Ilija Studen Pogledajte poruku
Da li neko ima objektivan razlog zašto se ne bi trebalo da se čuvaju binarni podaci u bazi? Ja znam jedan (otežan backup i restore kroz neke klijente kao što je phpMyAdmin), ali to je manje više to. Neko iskusniji?
Pa neki od razloga su:
- brzi je pristup filesystemu nego bazi podataka
- smanjenje operacija - ovako moras iscitati blob polje, kreirati tmp datoteku i pokazati je u browseru pa onda brisati.
- ako je DB server na mrezi, povecavas promet jer je u pitanju staticki sadrzaj (slike) koje mogu da budu i na web serveru.

Ima smisla ukoliko se radi o distribuiranom sistem, vishe web servera a jedan DB, ima smisla kad ima preko nekoliko miliona recorda (zbog filesystem ogranicenja na broj fajlova u jednom folderu i usporavanje pristupa tim fajlovima kad je broj veliki).
misk0 je offline   Odgovorite uz citat
Staro 15. 11. 2007.   #8
ivanhoe
Ivan Dilber
Sir Write-a-Lot
 
Avatar ivanhoe
 
Datum učlanjenja: 18.10.2005
Lokacija: Bgd
Poruke: 5.320
Hvala: 104
2.344 "Hvala" u 583 poruka
ivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svimaivanhoe je ime poznato svima
Pošaljite poruku preko Skype™ za ivanhoe
Default

kad se radi o slikama znacajno je takodje i sto je serviranje statickih fajlova preko web servera direktno znatno (reda 10x) brze nego preko skripte... a tu je i znacajno veca upotreba memorije kad se kopiraju velike kolicine podataka izmedju baze i skripte jer npr. kod klasicnih (buffered) querija php drajveri uvek prvo naprave kopiju podataka iz baze, pa ih tek onda daju skripti (a onda ih mi u skripti obicno opet kopiramo u neku promenjivu, itd..).

a moze se postaviti i kontra pitanje cemu uopste drzanje BLOB polja? Koje su prednosti toga, sem malkice jednostavnije brisanje..
__________________
Leadership is the art of getting people to want to do what you know must be done.
ivanhoe je offline   Odgovorite uz citat
Staro 16. 11. 2007.   #9
Djuki
profesionalac
Professional
 
Avatar Djuki
 
Datum učlanjenja: 09.06.2005
Lokacija: Pancevo
Poruke: 251
Hvala: 60
47 "Hvala" u 34 poruka
Djuki is on a distinguished road
Pošaljite ICQ poruku za Djuki Pošaljite poruku preko Skype™ za Djuki
Default

Posle prebacivanja slika, iz baze na hard disk hostinga, tabela se sa 41MB smanjila na 300KB. Potrosnja procesora drasticno umanjila, eto jos jednog razloga zasto ne koristiti bazu podataka za prikazivanje slika.

Load procesora je isao do 15 a sada je ode na 1 kada je poseta jako velika, inace je oko 0.2

Sta mislito o ovome ?
__________________
Blog | Facebook | Twitter | PHP Srbija
Djuki je offline   Odgovorite uz citat
Staro 16. 11. 2007.   #10
srdjevic
profesionalac
Professional
 
Datum učlanjenja: 15.06.2005
Lokacija: Chicago IL, USA
Poruke: 209
Hvala: 12
12 "Hvala" u 11 poruka
srdjevic is on a distinguished road
Default

Djuki, o trenutnoj postavci (bar ja) ne mislim nista, jer to je sasvim normalno da se ponasa tako sa 300kb tabelama.

Ali ipak bih pogledao zasto se zakucavao toliko na 41MB bazi. To ni u ludilu ne sme da se dogadja, premalo je to podataka da bi se gusio... Bolje sad to da vijas nego da cekas momenat kada stvarno budes imao 40MB u bazi (a koje mozda neces moci da maknes na disk)... ;-)
srdjevic je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Blob ili file kickloop Sva početnička pitanja 6 24. 11. 2009. 22:05
Problem sa isčitavanjem BLOB polja iz Firebird-a pomoću PHP-a Miroslav PHP 2 22. 04. 2009. 14:17
Prebacivanje Cod-a iz VB u C# celawi Programiranje 2 01. 07. 2008. 00:45
SQL i Access, polja sa fiksnom duzinom? vidak SQL baze podataka - Sponzor: Baze-Podataka.net 3 17. 03. 2008. 14:16
sortiranje encodiranog polja conica SQL baze podataka - Sponzor: Baze-Podataka.net 6 25. 01. 2006. 10:41


Vreme je GMT +2. Trenutno vreme je 16:57.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.