DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   SQL baze podataka - Sponzor: Baze-Podataka.net (http://www.devprotalk.com/forumdisplay.php?f=10)
-   -   MySQL upload velikog fajla (http://www.devprotalk.com/showthread.php?t=7999)

misko_ 22. 10. 2009. 19:17

MySQL upload velikog fajla
 
Imam backup jedne baze.
Backup je napravljen pomoću:
-- phpMyAdmin SQL Dump
-- version 2.11.4

Velik je oko 5,5 MB i ima 80000 linija.

Naravno, phpMyAdmin mi ne dopušta da uploadam tako veliki fajl.
ni mysqldum mi ne pomaže

Koje je riješenje ???

Hvala

bOkIcA 22. 10. 2009. 19:22

Samo ponovi vise puta upload, phpmyadmin ce sam nastaviti tamo gde je stao.

MorenoArdohain 22. 10. 2009. 19:34

@bokica, nece moci ako je file veci od PHP limita za upload.

@misko_, instaliraj BigDump, ili nesto slicno.

bOkIcA 22. 10. 2009. 20:00

Naravno, ali napisao je da mu phpMyAdmin ne dopusta pa sam pomislio da se upload prekine u nekom momentu a phpmyadmin ima mogucnost nastavka upload-a.

@misko_: Daj ovde poruku koju dobijes kako bi znali zbog cega je.

misko_ 22. 10. 2009. 20:23

@bokica, MorenoArdohain je dobro predpostavio u svakom slucaju ne ide ta shema da on sam nastavi odakle je stao.

nego recite vi meni sa ćime se mogu spremiti i ponovo restorati tako veće baze ?
je mysqldump jedina opcija ?
sta se koristi ?

Nemanja Avramović 22. 10. 2009. 20:41

Koristi BigDump, ali mislim da on zahteva da su pri kreiranju dump-a bili isključeni "Extended inserts"

srdjevic 23. 10. 2009. 10:22

ako ne može ni u htaccessu samo za taj folder da se izmeni max za upload, onda mora BigDump...

.htaccess:
Kôd:

php_value upload_max_filesize 8M
php_value post_max_size 8M


dootzky 23. 10. 2009. 12:18

e a sto prosto ne bi uradio ovo - uzmes lepo taj veliki dump, i lepo kod sebe u lokalu (na svom dev kompu) postavis limit za upload tipa 200MB, stagod), i onda uvuces celu bazu kod SEBE na komp, i onda sa svog kompa, napravis lepo export prvih 10 tabela, pa drugih 10 tabela, i tako prosto mozes da podignes celu bazu na tvoj live server sa nekoliko parcijalnih dizanja.

sta mislis o tome?

twix 23. 10. 2009. 15:12

Ja sam cak jednom prilikom imao zadatak da uradim import baze od ~50mb, posto mi nijedna scripta nije pomogla, niti bilo kakvo podesavanje, lepo sam kod sebe otvorio sql fajl i "iseckao" querije do odredjene velicine i zatim importovao fajl po fajl, znam da zvuci smesno, ali sve ostalo sto sam pokusao iz nekog razloga nije funkcionisalo do kraja kako treba (a imao sam kratak vremenski interval da to obavim).

dootzky 23. 10. 2009. 15:52

pa to je to. razlika izmedju pragmaticnih programera i must-do-everything-by-the-book geekova. :) (i jedni i drugi imaju prednosti i mane, naravno, ali pragmaticnost (prakticnost) je cesto vredniji business asset) :P

holodoc 23. 10. 2009. 20:17

Jedno lepo i veoma elegantno rešenje koje veliki broj developera jednostavno previđa jeste mogućnost phpMyAdmina da "guta" arhivirane SQL fajlove čime se efektivno dobijaju i do 75%-80% manji fajlovi za upload. Sve što je potrebno uraditi je da se prilikom eksporta phpMyAdminom navede opcija kompresovanog eksporta (GZIP, ZIP) ili da se ručno (gzip, Total Commander...) spakuje originalni "dump" i da se tako kompresovani fajl uploaduje kasnije na ciljni sistem. Ceo teret obrade se tako prebacuje na sam server a uploadi su mnogo manji.

Naravno za ekstremno velike "dumpove" ovo ne funkcioniše i tada treba ili isparcelisati eksport i import ili jednostavno naći neko drugo rešenje. Generalno nikada nisam imao potrebe da čačkam dublje za probleme ovakve vrste jer je rešenje koje sam naveo uglavnom bilo dovoljno na tako ograničenim sistemima tako da je ovo sve što mi trenutno pada na pamet kao rešenje.

zira 23. 10. 2009. 20:30

Kada mi je zatrebalo ovako nesto, bila je zurba i nisam se mnogo udubljivao, te se podijelio fajl na vise manjih i importovao. Ali svakako imam osjecaj da mora da postoji nesto elegantije :)

milan.scepa 23. 10. 2009. 21:46

Jednom ranije sam imao sličan problem i tragao za elegantnim rešenjem i izguglao Navicat for SQL. Probao sam (*z verziju) i bio zadovoljan.

holodoc 23. 10. 2009. 21:49

Citat:

Originalno napisao zira (Napišite 74767)
Kada mi je zatrebalo ovako nesto, bila je zurba i nisam se mnogo udubljivao, te se podijelio fajl na vise manjih i importovao. Ali svakako imam osjecaj da mora da postoji nesto elegantije :)

Pa pazi ako ciljni MySQL server podržava daljinske (remote) konekcije onda kompletnu administraciju možeš da radiš i sa samim MySQL Administratorom. Lično ako nemam shell pristup serveru na kome radim (veoma redak slučaj) onda je pomenuti alat moj second best choice :) Naravno i ostale dve alatke iz MySQL GUI Tools seta su odlične i tek kompletan set alata omogućava i administraciju i rad sa podacima u okviru baze. Da ne napominjem da je sve džabe?

misko_ 23. 10. 2009. 21:59

Pošto se radilo o podacima koje sam dobio tako da sam imao jednu skriptu koja ih je skupljala sa jedne web stranice, jednostavno sam pokrenio ponovno skirptu, i nakon 3 sata(jer imam zastoj od sekunde, kada se krecem od stranice do stranice, tako da im ne padne server radi mene) sam opet imao podatke.

Tada sam te podatke sa mysqldump-om importirao i eksportirao za provjeru.
I nisam mogao vjerovati backup od 6 MB je napravio za 2 sekunde a import je trajao 4 sekunde.
Čini mi se da je taj mysqldump OK stvar.

Prvi backup koji mi je bio oko 5,5MB je napravljen preko phpMyAdmin-a, ali očito ova nova verzija ili ko zna šta nije ga mogla importat.
Ukratko držim se ja mysqldumpa.
Ali mi se čini da ču napraviti i posebne backupove svake tablice zasebno.

Hvala svima na pomoći

holodoc 23. 10. 2009. 22:20

phpMyAdmin je poznat po tome da ume da pravi probleme sa eksportovanjem/importovanjem (posebno ako je za svaku operaciju korišćena druga verzija PMA a razlika u verzijama je velika) tako da je mysqldump još uvek nezvanični "tata" MySQL backupa.

bluesman 23. 10. 2009. 22:45

Ako ti je problem dump, ja sam pravio DB Backup tool koji radi baš te stvari. To sam pravio za sebe, pa sam onda dao i ljudima sa kojima radim pa se nekako i "napravila" neka verzija za sve koji su zainteresovani.

Koristi mysqldup direktno u .gz, pa onda split-uje u više arhiva (proizvoljne veličine) RAR, ZIP... da bi mogao da ih pošalješ sam sebi na mail (gmail ogranicenje za attachment), a opciono radi i upload na FTP.

Recimo i ovaj forum se svakodnevno backupuje baš pomoću toga, namešten je cron da radi dump i kopira na FTP na jedan drugi server. I imam uvek poslednjih 7 dana u backupu jer je shema imenovanja fajlova napravljna tako da ih imenuj {$database}.{$dayname}, pa onda imam {$database}.Monday.sql.rar, ... Sunday.sql.rar

"Jedina sitnica" od sistemskih zahteva je da možeš da izvršiš exec(), odnosno da nije onemogućena u php.ini

vlada.jerkovic 26. 10. 2009. 08:42

bluesman jel mozes da proveris da li je sve u redu s tim linkom koji si postavio posto kad hocu da skinem .zip ili .rar fajl zapravo skine download.php. Poz.

bluesman 26. 10. 2009. 12:45

Off Topic: Evo sad sam probao, skunuo sam i zip i rar, ne znam u čemu je bio problem kod tebe.

vlada.jerkovic 27. 10. 2009. 04:18

Citat:

Originalno napisao bluesman (Napišite 74909)
Off Topic: Evo sad sam probao, skunuo sam i zip i rar, ne znam u čemu je bio problem kod tebe.

Prvi put sam probao s Google chrome da skinem i nije htelo, posle tvog posta sam otvorio Internet Explorer i skinuo bez problema, pa sam opet probao s chrome i dalje skida download.php... ne znam u cemu je fora....

bluesman 27. 10. 2009. 11:34

Tnx, sad sam video... ima problem u Chrome, on skine zip ali ne promeni filename.


Vreme je GMT +2. Trenutno vreme je 10:38.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.