DevProTalk

DevProTalk (http://www.devprotalk.com/index.php)
-   SQL baze podataka - Sponzor: Baze-Podataka.net (http://www.devprotalk.com/forumdisplay.php?f=10)
-   -   Nalaženje nedostajućih datuma u nizu (http://www.devprotalk.com/showthread.php?t=10632)

Milos Vukotic 26. 12. 2011. 18:56

Nalaženje nedostajućih datuma u nizu
 
Dobar dan :)

Imam tabelu sa hiljadama upisa koji bi trebali biti unošeni svakog dana u zadnjih nekoliko godina. Pojednostavljena tabela bi imala kolone:
datum_unosa | podatak | tip_unosa

Znači, trebalo bi da su ovi podaci unošeni svakodnevno tj. da kolona datum_unosa sadrži svaki dan za bilo koji datumski interval, ali ima ponegdje datuma za koje unos (svaki ili samo za određeni tip_unosa) nedostaje. Kako ih naći?

Ovo sam uspio da riješim seljačkim metodom pravljenja privremene tabele sa svim datumima u nizu, pa left join sa ovom postojećom tabelom po datumu, pa još jedan select nad svim tim...

Neki prefinjeniji metod? :)

ivanhoe 26. 12. 2011. 20:55

a bas moras SQL upitom? Mozes naprosto da dohvatis sve datume u bazi sa
SELECT ... GROUP BY datum ORDER BY datum
pa da onda u petlji kad fetchujes rezultat proveris da li fali neki datum.

Milos Vukotic 26. 12. 2011. 21:51

Ono, problem je suštinski riješen, kao što rekoh (naravno, po PS-u je u kod dodat i komentar "temporary solution" :D ) nego pitam više zbog umne gimnastike :)

jablan 26. 12. 2011. 22:28

Citat:

Originalno napisao Milos Vukotic (Napišite 103853)
Ovo sam uspio da riješim seljačkim metodom pravljenja privremene tabele sa svim datumima u nizu, pa left join sa ovom postojećom tabelom po datumu, pa još jedan select nad svim tim...

Uopšte nije seljački metod, i ta tabela ne treba da bude privremena. :) To je prilično standardna DBA fora koja može da se iskoristi još za masu drugih stvari (npr. brojanje radnih i neradnih dana itd). Malo zauzima, dobro se indeksira, a rešava puno problema.

BTW, šta će ti taj select nad svim tim? Zar LEFT JOIN sa "WHERE datumi.datum IS NULL" ne rešava stvar?

BraMom 26. 12. 2011. 22:37

Datumska dimenzija, uobičajeno DimTime ili DimDate, je standardna u Data Warehouse rešenjima. Doduše korisna je i za druge stvari sem "popunjavanja" datuma gde nije bilo transakcija, npr. za hijerarhije, tipa godina - mesec - dan u mesecu i sve ostalo što datumske funkcije ne mogu ili teško mogu da izvedu, npr. neradni dani po lokalnom zakonodavstvu...
Svako drugo rešenje podrazumeva neku vrstu for petlje kroz slogove po redosledu, što nije u duhu sql-a, ali je svakako izvodljivo u jezicima opšte namene, kao što je opisao ivanhoe.

Milos Vukotic 26. 12. 2011. 22:55

Citat:

Originalno napisao jablan (Napišite 103860)
BTW, šta će ti taj select nad svim tim? Zar LEFT JOIN sa "WHERE datumi.datum IS NULL" ne rešava stvar?

Istina živa :) Hvala. :1043:

BraMom (i ti Jablane :) ), možete li još malo napisati o ovome? :) Kako se pravi npr. datumska dimenzija? I kako se popunjava - svi datumi za period tokom kojeg se baza koristila ili nekako drugačije?

jablan 27. 12. 2011. 12:01

Ima masa članaka na tu temu, vidi Search Google: sql calendar table pa dalje. Ja obično popunim za 10-ak godina unapred i unazad.

BraMom 27. 12. 2011. 16:26

Da kao što je jablan napisao, kreiraš tabelu pa je napuniš vrednostima, može i iz excela ako hoćeš. Konkretno ovo što koristim na MSSQL-u izgleda ovako:

Kôd:

CREATE TABLE [dbo].[DimDate](
        [DimDateId] [int] IDENTITY(1,1) NOT NULL,
        [Period] [int] NOT NULL,
        [Date] [date] NOT NULL,
        [Year] [int] NULL,
        [Month] [int] NULL,
        [Week] [int] NULL,
        [SundayWeek] [int] NULL,
        [DayOfMonth] [int] NULL,
        [DayOfWeek] [int] NULL,
        [Quarter] [int] NULL,
        [DayName] [nvarchar](50) NULL,
        [MonthName] [nvarchar](50) NULL,
 CONSTRAINT [PK_DimDate] PRIMARY KEY CLUSTERED
(
        [DimDateId] ASC
) ON [PRIMARY]
) ON [PRIMARY]

Tabela je inicijalno popunjena ovakvim nekakvim skriptom:
Kôd:

CREATE PROCEDURE [dbo].[GetDimDate]
        @startDate DATETIME,
        @endDate  DATETIME
AS
BEGIN
        DECLARE @date DATETIME = @startDate
        SET DATEFIRST 1
       
        CREATE TABLE #dateDimension(
                [Period] [int] NOT NULL,
                [Date] [date] NOT NULL,
                [Year] [int] NULL,
                [Month] [int] NULL,
                [Week] [int] NULL,               
                [DayOfMonth] [int] NULL,
                [DayOfWeek] [int] NULL
        )
       
        WHILE (@date < @endDate)
        BEGIN
                INSERT INTO #dateDimension
                VALUES
                (DATEPART(YEAR, @date),
                @date,               
                DATEPART(YEAR, @date),
                DATEPART(MONTH, @date),
        DATEPART(WEEK, @date),
        DATEPART(DAY, @date),
        DATEPART(WEEKDAY, @date)               
        )
           
                SET @date = DATEADD(DAY, 1, @date)
        END

        SELECT * FROM #dateDimension
       
        DROP TABLE #dateDimension
END

Za potrebe reportinga / analysis servisa koristim view koji čita slogove do tekućeg i eventualno proračunava još neku kolonu, čisto da se korisnicima kad gledaju reporte / kocke ne bi pojavljivali neki datumi u budućnosti. U tabeli imam datume do 2020, mada je to proizvoljna odluka.

Dobar primer dimenzionog modela za Data Warehouse je Microsoftov AdventureWorksDW, tabela se zove DimTime, možeš da skineš bazu sa codeplex-a, mislim da je skriptovana, tako da uopšte ne moraš da instaliraš MSSQL:
http://sqlserversamples.codeplex.com/


Vreme je GMT +2. Trenutno vreme je 22:54.

Powered by vBulletin® Verzija 3.6.8
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Copyright © DevProTalk. All Rights Reserved.

Mišljenja, saveti, izjave, ponude ili druge informacije ili sadržaji nastali na Sajtu su vlasništvo onoga ko ih je kreirao, a ne DevProTalk.com, tako da ne morate da se oslanjate na njih.
Autori poruka su jedini odgovorni za ovakve sadržaje. DevProTalk.com ne garantuje tačnost, kompletnost ili upotrebnu vrednost informacija, stavova, saveta ili datih izjava. Ne postoje uslovi pod kojima bi mi bili odgovorni za štetu ili gubitak koji je posledica bilo čijeg oslanjanja na nepouzdane informacije, ili bilo kakve informacije nastale kroz komunikaciju između registrovanih članova.
Web sajt može sadržavati linkove na druge web sajtove na Internetu ili neke druge sadržaje. Ne kontrolišemo niti podržavamo te druge web sajtove, niti smo pregledali bilo kakve sadržaje na takvim sajtovima. Mi nećemo biti odgovorni za legalnost, tačnost ili prikladnost bilo kog sadržaja, oglasa, proizvoda, usluga ili informacije lociranim na ili distribuiranih kroz druge web sajtove, niti za bilo kakvu štetu nastalu kao posledica takvih informacija. DevProTalk.com drži i čuva druga prava vlasništva na web sajtu. Web sajt sadrže materijale zaštićene copyright-om, zaštitne znakove i druge informacije o pravu vlasništva ili softver. Članovi mogu poslatu informacije zaštićene pravima vlasništva njihovih nosilaca i ona ostaju zaštićena bez obzira da li su oni koji prenose te informacije to naveli ili ne. Osim informacija koje su u javnom vlasništvu ili za koje dobijete dozvolu, nemate pravo da kopirate, modifikujete ili na bilo koji način menjate, objavljujete, prenosite, distribuirate, izvršavate, prikazujete ili prodajte bilo koju informaciju zaštićenu pravima vlasništva. Slanjem informacija ili sadržaja na bilo koji deo DevProTalk.com, Vi automatski dozvoljavate i predstavljate garanciju da imate pravo da dozvolite DevProTalk.com ili članovima DevProTalk.com bespovratnu, kontinualnu, neograničenu, globalnu dozvolu da koriste, kopiraju, izvršavaju, prikazuju i distribuiraju takve informacije i sadržaje i da iz takvih sadžaja koriste bilo koji deo u bilo koje svrhe, kao i pravo i dozvolu da koriste gore navedene sadržaje. Svi zaštitni znakovi (trademarks), logotipi, oznake usluga, firme ili imena proizvoda koji se pominju na ovom web sajtu su vlasništvo kojim raspolažu njihovi vlasnici.