DevProTalk

Forumi IT profesionalaca
web development, web design, e-business, SEO


Idite nazad   DevProTalk > Web development i web aplikacije > SQL baze podataka - Sponzor: Baze-Podataka.net
Želite da se reklamirate ekskluzivno na ovoj poziciji? Javite se

SQL baze podataka - Sponzor: Baze-Podataka.net MySQL, MSSQL, Oracle, Access, ODBC. Ako imate problem brže i preciznije ćete dobiti odgovor ako priložite strukturu tabela ili skript koji kreira tabele i puni ih test podacima umesto što to problem opisujete samo rečima. Sponzor: Baze-Podataka.net - Blog o bazama podataka

Odgovori
 
Alati teme Način prikaza
Staro 11. 03. 2007.   #1
dee
Domagoj Horvat
Expert
 
Avatar dee
 
Datum učlanjenja: 24.07.2006
Lokacija: Zagreb
Poruke: 502
Hvala: 22
10 "Hvala" u 8 poruka
dee is on a distinguished road
Pošaljite ICQ poruku za dee
Default veliki csv fajovi -> DB

Sta mi je najelegantnije za citat velike csv fajlove (cca 20MB) i prepisat ih u bazu? kako da to izvedem?

bilo kakav savjet je dobrodosao...

poz
__________________
postoje ludosti bez kojih je nemoguce ljudsko dostojanstvo
dee je offline   Odgovorite uz citat
Staro 11. 03. 2007.   #2
Mrlja
novi član
Na probnom radu
 
Avatar Mrlja
 
Datum učlanjenja: 12.02.2007
Lokacija: Novi Sad
Poruke: 25
Hvala: 0
4 "Hvala" u 3 poruka
Mrlja is on a distinguished road
Default zna covek...

http://tribune.majlab.com/programira...-baze-u-mysql/
Mrlja je offline   Odgovorite uz citat
Staro 11. 03. 2007.   #3
ppavlovic
expert
Expert
 
Avatar ppavlovic
 
Datum učlanjenja: 27.11.2005
Poruke: 543
Hvala: 47
57 "Hvala" u 31 poruka
ppavlovic će postati "faca" uskoro
Default

LOAD DATA [LOCAL] INFILE ...

http://dev.mysql.com/doc/refman/5.0/en/load-data.html

Jednom davno sam ovo radio... Cini mi se da mora da se navede LOCAL i puna putanja do CSV fajla na serveru.
__________________
MojNoviAuto.com - Tvoj prvi sajt za kupovinu novog automobila
ppavlovic je offline   Odgovorite uz citat
Staro 11. 03. 2007.   #4
misk0
majstor
Wrote a book
 
Avatar misk0
 
Datum učlanjenja: 30.01.2006
Lokacija: Lugano - Switzerland
Poruke: 1.251
Hvala: 219
106 "Hvala" u 67 poruka
misk0 će postati "faca" uskoromisk0 će postati "faca" uskoro
Pošaljite ICQ poruku za misk0 Pošaljite poruku preko Skype™ za misk0
Default

Sorry but, CSS ili CSV? (u naslovu stoji CSS)
misk0 je offline   Odgovorite uz citat
Staro 11. 03. 2007.   #5
dinke
Super Moderator
Invented the damn thing
 
Avatar dinke
 
Datum učlanjenja: 06.06.2005
Poruke: 2.371
Hvala: 370
701 "Hvala" u 194 poruka
dinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamendinke je pravi dragi kamen
Default

Ako hoces da importujes sa load data local ... onda to jedino mozes iz mysql klijenta, tako sto otvoris klijent iz tog direktorijuma gde ti se nalazi fajl. Uz to, ako su podesavanja po defaultu, moras mu proslediti --enable-local-infile parametar prilikom startovanja, kao na primer:

Kôd:
mysql --enable-local-infile -udinke -ppass baza
Fajl importujes u tabelu sa:

Kôd:
load data local infile 'fajl.csv' into table imetabele
Ako nemas pristup mysql klijentu, odradi jednostavan php script koji ce odraditi import (kljucne f-je explode ili fgetcsv
__________________
Caught in a Web|Blogodak
With great power comes great responsibility!
dinke je offline   Odgovorite uz citat
Staro 11. 03. 2007.   #6
Blood
Boban Karišik
Expert
 
Avatar Blood
 
Datum učlanjenja: 05.11.2005
Lokacija: Beograd
Poruke: 556
Hvala: 36
186 "Hvala" u 21 poruka
Blood is on a distinguished roadBlood is on a distinguished road
Pošaljite poruku preko Skype™ za Blood
Default

Ja sam koristio navicat za import csv fajlova u mysql i postgres i mogu reci da rastura kako brzo radi posao. Jedini problem je sto se program placa, ali ima 30 trial verziju, sasvim dovoljno da se odradi neki trenutni posao, a i uvek mozes da vratis datum u windowsu kad ti zatreba program ponovo..
__________________
Ako već nisi Anđeo, bar budi čovek...
Blood je offline   Odgovorite uz citat
Staro 16. 03. 2007.   #7
dee
Domagoj Horvat
Expert
 
Avatar dee
 
Datum učlanjenja: 24.07.2006
Lokacija: Zagreb
Poruke: 502
Hvala: 22
10 "Hvala" u 8 poruka
dee is on a distinguished road
Pošaljite ICQ poruku za dee
Default

morat cu skriptom pa cronjob... kako dinke kaze, fgetcsv() i explode()

jos jedno usputno pitanje. posto su veliki fajlovi u pitanju + skripta treba prvo provjerit postoji li zapis sa konkretnim itemID i onda: ako ima -> UPDATE, ako nema -> INSERT; ima li nacina (a i smisla?) da jedan zapis csv-a odradim u jednom query-ju ili moram nuzno imat dva (jedan za provjeru drugi za INSERT/UPDATE)?
__________________
postoje ludosti bez kojih je nemoguce ljudsko dostojanstvo

Poslednja izmena od dee : 16. 03. 2007. u 14:57.
dee je offline   Odgovorite uz citat
Staro 16. 03. 2007.   #8
zextra
Boris
Grand Master
 
Avatar zextra
 
Datum učlanjenja: 01.12.2005
Lokacija: Novi Sad
Poruke: 775
Hvala: 5
156 "Hvala" u 2 poruka
zextra is on a distinguished roadzextra is on a distinguished road
Default

Postaraj se da unikatne redove odredis primarnim kljucem, kako bi izbegao dupliranje, a zatim....

INSERT IGNORE INTO `table` ...

Takodje, jos jedan nacin da ubrzas ucitavanje podataka ovim putem je da koristis inline inserte:

INSERT INTO `table` ( fields ) VALUES ( value set 1 ), ( value set 2 )... ;

Ili da zapocnes transakciju pre ucitavanja pa da je commitujes nakon izvrsenih upita, ili mozda da ekskluzivno lockujes tabelu...

@dinke: prostije je koristiti mysqlimport komandu, koja je interface za LOAD DATA INFILE
__________________
"It’s important to have goals when you pet. Otherwise you’re just rubbing another mammal for no reason." - Scott Adams

Poslednja izmena od zextra : 16. 03. 2007. u 15:32.
zextra je offline   Odgovorite uz citat
Odgovori


Alati teme
Način prikaza

Pravila pisanja
Možete ne započinjati nove teme
Možete ne slati odgovore
Možete ne slati priloge
Možete ne izmeniti svoje poruke
vB kôd je Uključen
Smajliji su Uključen
[IMG] kod je Uključen
HTML kôd je Isključen
Pogledajte forum

Slične teme
Tema Početna poruka teme Forum Odgovori Poslednja poruka
Veliki CTR na adsensu Veljko Marketing i SEO 19 01. 10. 2007. 01:34
B92: Reklame i Veliki brat DejanVesic Opušteno 83 12. 10. 2006. 13:16


Vreme je GMT +2. Trenutno vreme je 20:40.


Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.
Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.