Bu yazımda “Se7en” filminden esinlenerek veritabanı modellemesinde yapılan en kötü hataları ve önlemleri üzerine yazmak istedim. “Murat, yazılarında hep yenilikçi ve trendi yazmayı sevmiyor.” diye düşünenler olabilir ancak okyanuslara açılacak cesaret ve azminiz eÄŸer hataları aÅŸmış deneyiminiz ve problemleri savuÅŸturmaktan öte temelden çözen pusulada geminiz yoksa sizi sadece bilinmezlere götürür.

O yüzden basit gibi görünen bu delikleri tıkamak adına aklıma geldikçe ve günlük hayatımda karşılaÅŸtığım sürece size flashback yaÅŸatmak da bu blogda benim görevim…

Bazı faktörler sizleri vasat bir veritabanı tasarımına sahip kılabilir ki  bunda yeterli becerinin eksikliği, kısıtlı zaman ve yetersiz kaynaklar en baskın katkılar olarak karşımıza çıkar. Ancak öte yandan bu kısıtlara sığınmadan düşünürsek kötü modelleme size ilerisi için performans, yönetim, bakım, geliştirme ve veri üretimi anlamında hem para hem de zaman kaybını getirecektir.

Çok derinleÅŸmeden en temel 7 günahı iÅŸlemeden nasıl veritabanı tasarlamalıyız üzerine konuÅŸalım…

continue reading "Veritabanı Tasarımında 7 Ölümcül Hata"

Günümüzde hiçbir ayrım olmaksızın tüm kuruluşların IT tabanlı iş yapış modellerine geçmesinden sonra bir üst çağ olarak görebileceğimiz veri entegrasyon süreçleri ağırlık kazanmaya başladı. İlk önce mevcut süreçlerini ERP vb. Yazılımlar ile yönetmeye başlayan firmalar daha sonrasında iş yapmış olduğu ortakları ile veri transferi yapmaya başladılar. Geçmiş dönemlerde ftp ile işleyen bu süreç artık taleplerin değişmesi ile birlikte anlık talepler olarak karşımıza çıkmaktadır.

Örneğin bankalar bir çok servis firması ile ortak çalışmaktadır. En küçük bir zaman kaybının bile tahammülü olmadığını düşünürsek birlikte çalıştığı firmalarında kendisine ayak uydurmasını beklemektedir. Web servisleri de işte bu anlık ihtiyaçların ve taleplerin yoğunlaşması ve sağlamış olduğu diğer avantajlar (platform bağımsızlığı vb.) ile birlikte oldukça ön plana çıktı.

Bu örneğimizde de SQL Server Integration Service projelerimizde mevcut bir web servisini nasıl kullanacağımızdan bahsedeceğiz. Kullanacağımız web servis döviz kurları ile çalışmamıza imkan sağlayacaktır.

Web servisimizin adresi;
http://www.webservicex.net/CurrencyConvertor.asmx

continue reading "Tips & Tricks: SSIS Web Services"

Birçok sistem arasındaki veri alışveriÅŸi metadata karmaÅŸası yaratmadığından ve sorunsuz çalıştıklarından “flat file” olarak adlandırdığımız TEXT ve COMMASEPERATEDVALUES uzantılı dosyalar üzerinden gerçekleÅŸtiriliyor.

Bu dosyaları SSIS üzerinden “flat file connection” ile kaynak dosya okuma durumunda kalırsanız, dosyanızın tüm öğelerinin varchar olarak deÄŸerlendirildiÄŸini görürsünüz. Ancak gelen veriler içerisinde tarih ve rakam tiplerinin ya da 50 karakterden daha uzun string tiplerin veritabanına doÄŸru tiplerde alınması gerekir.

Bu yüzden kolayca okunmasını beklediÄŸiniz TEXT dosyalarınızda patlayan paketlerinizde hemen bu tip sorunsalına dikkat edin…

continue reading "Tips & Tricks: Flat File Connection ile Veri Tipi Önerimi"

iPhone ve iPad, mobil iletiÅŸim ile baÄŸlantılı herÅŸeyi deÄŸiÅŸtiriyor, kurumsal BT çözümlerinin parlak çocuÄŸu iÅŸ zekasını bile…

ABD Merkezli iş zekası yazılım şirketi MicroStrategy’nin CEO’su Michael Saylor, geçen ay Fransa’da düzenlenen ‘MicroStrategy World’ toplantısının açılış konuşmasında tam bir Apple evangelisti gibiydi. 2000’lerin başında Wired, Fast Company gibi teknoloji aleminin önemli dergileri tarafından ‘net big thing’ olarak gösterilen ‘mobil devrim’in, Apple’ın iPhone ve iPad cihazları ile gerçek anlamda şimdi vuku bulduğunu anlattı özetle.

Bunu yaparken 10 yıl önce yere göğe sığdıramadığı Microsoft uygulamalarını yerden yere vurdu; yaklaşık 500 çalışanın dizüstü bilgisayarını iPad ile değiştirdiğini böylece yüzde 70 tasarruf sağladıklarını söyledi. Ve dev konsolidasyonlar ile sarsılan iş zekası sektörünün bağımsız kalan tek büyük oyuncusu olan 377,8 milyon dolar cirolu şirketinin yeni vizyonunu Blackberry ile birlikte bu iki cihaza entegre ‘mobil iş zekası’ olduğunu açıkladı. İş zekasının geleceği mobil olacak ve bizde bu dönüşümü başlatıyoruz.

continue reading "Özgür Veriler (1)"

Özellikle raporlama uzmanları baÅŸta olmak üzere veritabanlarında (türü ne olursa olsun) sorgulama yaparken aggregate – Türkçe’ye bilerek çevirmedim – fonksiyonlarına sıklıkla baÅŸvurmaktayız.

Bu fonksiyonları sıralayacak olursak;

• Sum (Toplam)
• Maximum (En Yüksek)
• Minimum (En Düşük)
• Count (Say)
• Count Distinct (Benzersiz Say)
• Group By (Grupla)
• Average (Aritmetik Ortalama)

Bu fonksiyonların SQL dilinde hazır metotları olsa da kimi zaman Integration Services uygulamalarımızda kullanmak durumunda kalabiliriz.

ÖrneÄŸin veri kaynağınızın bir veritabanı (MS SQL, Oracle, DB2) deÄŸilde basit olarak deÄŸer tutan dosyalar olduÄŸunu düşünün (xls, csv vs…).

Bu tip veri kaynaklarındaki verilerinize bu işlemleri yapabilmek için Data Flow Task altında Data Flow Tranformations sekmesinde yer alan Aggregate kontrolünü kullanabilirsiniz. Bu şekilde bahsettiğim veri kaynaklarında yer alan verileri temp bir tabloya yazıp daha sonradan işlem yapmak yerine kolayca çözümleyebilirsiniz.

continue reading "Tips & Tricks: SSIS Aggregate"

Bu yazımızda Microsoft SQL Server 2008 Integration Services projelerinde yer alan WMI Data Reader Task kontrolünü inceleyeceğiz. Fakat kontrolü incelemeden önce WMI ile ilgili bilgi vermenin faydalı olacağını düşünüyorum.

Win32, system gibi sınıfları barındıran WMI (Windows Management Instrumentation)  adından da anlaşılacağı gibi Windows işletim sistemindeki yönetim bilgilerine erişmemizi sağlar (disk, BIOS, işlemci, network vs.). Sınıflara erişerek gerekli bilgileri elde edebiliriz. (WQL) Bilgiler elde etmek için sınıflarda sorgulama yapabiliriz ki yapacağımız sorguların SQL deki sorgulardan hiçbir farkı yoktur.

SQL’de basit bir select sorgusu yaparken from dan sonra table ismini yazdığımız gibi burada da from dan sonra aşağıda birkaçını yazdığım class isimlerini yazıyoruz. WMI içinde sıklıkla managementobject, managementobjectsearcher, managementquery classlarını kullanırız. Gerekli sorgulamalarımızı managementobjectsearcher içine yazarız.

continue reading "Tips & Tricks: SSIS WMI Data Reader"

Ne kadar veritabanına hakim olursanız olun mevcut sistemlerin birçoğu tam optimize olmadığı için bizlere veriambarlarında sıkıntı yaratabilmektedir. Söz gelimi değerlerin tekil (unique) olduğunu varsaydığınız bir alan için o şekilde hareket ettiğinizde, -veritabanında unique olarak ayarlanmamışsa-  tekrarlanan bir veri çıktığında küçük sıkıntılar yaratabilmektedir.

Bir başka durumda ise veri ambarlarına veri aktarımı sırasında değerlerin olduğu gibi alınmasıdır. Örneğin NULL değerlerimiz olduğunda veriambarı yerine raporlama sorgularında gerekli değişikliklerin yapılması sıkça karşılaşılan bir durumdur.

Verilerimiz NULL olarak veritabanına aktarılmalı mı? NULL ile boşluk aynı değer midir? Verilerimizin özellikleri nedir?

Data Profiling Task ile belirtmiş olduğumuz alanların profil özellikleri çıkartılmaktadır. Özellikle iş zekası projelerinin analiz fazında önemli bilgi vereceğini düşünmüş olduğum Integration Services’te yer alan Data Profiling Task kontrolünü inceleyeceğiz.

continue reading "Tips & Tricks: SSIS Data Profiling"