Nalaženje nedostajućih datuma u nizu

[Milos Vukotic]

Dobar dan

Imam tabelu sa hiljadama upisa koji bi trebali biti unošeni svakog dana u zadnjih nekoliko godina. Pojednostavljena tabela bi imala kolone:
datum_unosa | podatak | tip_unosa

Znači, trebalo bi da su ovi podaci unošeni svakodnevno tj. da kolona datum_unosa sadrži svaki dan za bilo koji datumski interval, ali ima ponegdje datuma za koje unos (svaki ili samo za određeni tip_unosa) nedostaje. Kako ih naći?

Ovo sam uspio da riješim seljačkim metodom pravljenja privremene tabele sa svim datumima u nizu, pa left join sa ovom postojećom tabelom po datumu, pa još jedan select nad svim tim...

Neki prefinjeniji metod?

[ivanhoe]

a bas moras SQL upitom? Mozes naprosto da dohvatis sve datume u bazi sa
SELECT ... GROUP BY datum ORDER BY datum
pa da onda u petlji kad fetchujes rezultat proveris da li fali neki datum.

[Milos Vukotic]

Ono, problem je suštinski riješen, kao što rekoh (naravno, po PS-u je u kod dodat i komentar "temporary solution" ) nego pitam više zbog umne gimnastike

[jablan]

Originalno napisao Milos Vukotic

Ovo sam uspio da riješim seljačkim metodom pravljenja privremene tabele sa svim datumima u nizu, pa left join sa ovom postojećom tabelom po datumu, pa još jedan select nad svim tim...

Uopšte nije seljački metod, i ta tabela ne treba da bude privremena. To je prilično standardna DBA fora koja može da se iskoristi još za masu drugih stvari (npr. brojanje radnih i neradnih dana itd). Malo zauzima, dobro se indeksira, a rešava puno problema.

BTW, šta će ti taj select nad svim tim? Zar LEFT JOIN sa "WHERE datumi.datum IS NULL" ne rešava stvar?

[BraMom]

Datumska dimenzija, uobičajeno DimTime ili DimDate, je standardna u Data Warehouse rešenjima. Doduše korisna je i za druge stvari sem "popunjavanja" datuma gde nije bilo transakcija, npr. za hijerarhije, tipa godina - mesec - dan u mesecu i sve ostalo što datumske funkcije ne mogu ili teško mogu da izvedu, npr. neradni dani po lokalnom zakonodavstvu...
Svako drugo rešenje podrazumeva neku vrstu for petlje kroz slogove po redosledu, što nije u duhu sql-a, ali je svakako izvodljivo u jezicima opšte namene, kao što je opisao ivanhoe.

[Milos Vukotic]

Originalno napisao jablan

BTW, šta će ti taj select nad svim tim? Zar LEFT JOIN sa "WHERE datumi.datum IS NULL" ne rešava stvar?

Istina živa Hvala.

BraMom (i ti Jablane ), možete li još malo napisati o ovome? Kako se pravi npr. datumska dimenzija? I kako se popunjava - svi datumi za period tokom kojeg se baza koristila ili nekako drugačije?

[jablan]

Ima masa članaka na tu temu, vidi Search Google: sql calendar table pa dalje. Ja obično popunim za 10-ak godina unapred i unazad.

[BraMom]

Da kao što je jablan napisao, kreiraš tabelu pa je napuniš vrednostima, može i iz excela ako hoćeš. Konkretno ovo što koristim na MSSQL-u izgleda ovako:

CREATE TABLE [dbo].[DimDate](
	[DimDateId] [int] IDENTITY(1,1) NOT NULL,
	[Period] [int] NOT NULL,
	[Date] [date] NOT NULL,
	[Year] [int] NULL,
	[Month] [int] NULL,
	[Week] [int] NULL,
	[SundayWeek] [int] NULL,
	[DayOfMonth] [int] NULL,
	[DayOfWeek] [int] NULL,
	[Quarter] [int] NULL,
	[DayName] [nvarchar](50) NULL,
	[MonthName] [nvarchar](50) NULL,
 CONSTRAINT [PK_DimDate] PRIMARY KEY CLUSTERED 
(
	[DimDateId] ASC
) ON [PRIMARY]
) ON [PRIMARY]

Tabela je inicijalno popunjena ovakvim nekakvim skriptom:

CREATE PROCEDURE [dbo].[GetDimDate]
	@startDate DATETIME,
	@endDate   DATETIME
AS
BEGIN
	DECLARE @date DATETIME = @startDate
	SET DATEFIRST 1
	
	CREATE TABLE #dateDimension(
		[Period] [int] NOT NULL,
		[Date] [date] NOT NULL,
		[Year] [int] NULL,
		[Month] [int] NULL,
		[Week] [int] NULL,		
		[DayOfMonth] [int] NULL,
		[DayOfWeek] [int] NULL
	)
	
	WHILE (@date < @endDate)
	BEGIN
		INSERT INTO #dateDimension
		VALUES
		 (DATEPART(YEAR, @date),
		 @date,		 
		 DATEPART(YEAR, @date),
		 DATEPART(MONTH, @date),
         DATEPART(WEEK, @date),
         DATEPART(DAY, @date),
         DATEPART(WEEKDAY, @date)		 
         )
	    
		SET @date = DATEADD(DAY, 1, @date)
	END 

	SELECT * FROM #dateDimension
	
	DROP TABLE #dateDimension
END

Za potrebe reportinga / analysis servisa koristim view koji čita slogove do tekućeg i eventualno proračunava još neku kolonu, čisto da se korisnicima kad gledaju reporte / kocke ne bi pojavljivali neki datumi u budućnosti. U tabeli imam datume do 2020, mada je to proizvoljna odluka.

Dobar primer dimenzionog modela za Data Warehouse je Microsoftov AdventureWorksDW, tabela se zove DimTime, možeš da skineš bazu sa codeplex-a, mislim da je skriptovana, tako da uopšte ne moraš da instaliraš MSSQL:
http://sqlserversamples.codeplex.com/