موتور جستجوی دیتاست گوگل

پایان‌نامه کارشناسی ارشدم درباره لبخوانی بود. مستقل از چالش‌هایی که برای پیدا کردن الگوریتم بهینه و ارزیابی آن داشتم، چالش اصلی من تهیه دیتاست مناسب بود. دیتاست استانداردی وجود نداشت و اگر هم وجود داشت، با سرچ معمول گوگل پیدا نمیشدند.

فقط من با چنین مشکلی روبرو نبودم، تقریبا تمام دوستان با مشکلات مشابهی دست و پنچه می کردند. یکی بر روی پردازش تصاویر دندان کار می کرد، دیگری روی تشخیص سلول های سرطانی. الگوریتم جدید شناسایی اثر انگشت موضوع پایانه نامه دیگری بود و یکی از همکلاسی ها هم بر روی شناسایی خویشاندی در تصاویر تمرکز کرده بود. مستقل از تعریف پایان‌نامه، دیتاست مشکل همه ما بود. دیتاست مناسب با سرچ معمولی در اینترنت پیدا نمیشد، باید مقالات بسیاری می‌خواندیم و رد دیتاست‌ها را از مقالات پیدا می‌کردیم.

خاطرم هست که پیدا کردن دیتاست مناسب و دانلود با اینترنت کند و دور زدن تحریم‌ها آنقدر سخت بود که بسیاری از دوستان در آن زمان ترجیح دادند که دیتاست مخصوص به خود را تهیه کنند.

چالش دیتاست همه گیر بود و بسیاری در سراسر دنیا، مانند دوستانم، اقدام به جمع آوری دیتاست‌های مخصوص به خود کرده‌اند. اما علی رغم کارگشا بودن آنها، این دیتاست‌ها در جایی ایندکس نشده بودند و امکان یافتن آنها با کمک موتور جستجوی فعلی گوگل بسیار مشکل بود.

چند روز پیش خبردار شدم که گوگل این چالش و فرصت را درک کرده است و بالاخره موتور جستجوی مخصوص دیتاست (Dataset Search) خود را راه اندازی کرده است. این موتور جستجو صرفا بر روی یافتن مناسب ترین دیتاست تمرکز کرده است.

 

روش کار به این صورت است که هر فرد، دانشگاه، موسسه، دولت … که قصد انتشار دیتاست خود را دارد، ابتدا باید یک سری تگ بر روی داده تعریف کند و اطلاعاتی مانند این که داده توسط چه کسی، در چه زمانی، با چه هدفی تهیه شده است را مشخص کند. سپس این اطلاعات در گوگل ایندکس می‌شود و در نهایت با سرچ در این سامانه در دسترس خواهد بود.

ظاهر و طراحی سایت مشابه گوگل است. می توان از تکنیک های پیشرفته جستجو در گوگل مانند استفاده از دبل کوتیشن و کلمات کلیدی چون site  در آن استفاده کرد. به عنوان مثال با نوشتن عبارت “daily weather”‌ داخل دبل کوتیشن، دقیقا این عبارت جستجو می شود و با نوشتن عبارت weather site:noaa.gov صرفا دیتاست‌های موجود در سایت noaa.gov بررسی می شود.

گوگل معتقد است که با توجه به حرکت دولت‌ها به سمت شفافیت و انتشار داده و همچنین اصرار مجلات علمی بر انتشار عمومی دیتاست مربوط به هر مقالات، این موتور جستجوی به سرعت رشد خواهد کرد.

مایند مپ ابزار هوش تجاری در مایکروسافت

در چند مقاله گذشته به بررسی ابزار هوش تجاری در مایکروسافت پرداختیم. در این مقاله به جمع بندی کلی این ابزارهای با کمک نقشه ذهنی (Mind Map) می پردازیم.
ابزارهای هوش تجاری مایکروسافت را از یک منظر می توان به دو دسته کلی ابزارهای سلف سرویس و سرویس ها تقسیم کرد. ابزارهای سلف سرویس هوش تجاری برای استفاده عموم، شرکت های کوچک و افرادی که تخصص کافی در زمینه آی تی و نرم افزار ندارند، طراحی شده است. دسته دوم سرویس های مایکروسافت است که همراه با اس کیو ال سرور نصب می شود. این دسته از سرویس خصوص متخصصان آی تی و شرکت های بزرگ است. هر دو دسته در نقشه ذهنی زیر مشخص شده اند.
هوش تجاری سلف سرویس به دو دسته هوش تجاری در اکسل و پاور بی آی تقسیم می شود.
سرویس های مایکروسافت در زمینه هوش تجاری هم به سه سرویس اصلی ، SSIS, SSRS , و SSAS تعلق دارد.
برای نمایش گزارش های هوش تجاری بر روی موبایل نیز موبایل ریپورت پابلیشر مورد استفاده قرار می گیرد.

نقشه ذهنی ابزارهای فوق را در تصویر زیر مشاهده می کنید. با کلیک بر روی هر قسمت به مقاله مرتبط هدایت می شوید.

ابزار هوش تجاری در مایکروسافت (۵)

موبایل ریپورت پابلیشر (Mobile Report Publisher)

در سلسه مقالات ” هوش تجاری در مایکروسافت” به بررسی ابزارهای هوش تجاری که توسط مایکروسافت ارائه شده است پرداختیم و گفتیم که این ابزارها به دو دسته کلی تقسیم می شوند، یک دسته از ابزارها مخصوص متخصصان آی تی، شرکت های بزرگ و دیتابیس های بزرگ و متنوع است. سرویس‌های SSIS, SSAS, SSRS در این دسته از ابزارها قرار دارند. دسته دیگر از ابزارها که اصطلاحا به ابزارهای سلف سرویس (خویش فرما) شهرت دارند، برای شرکت‌ها و پایگاه داده‌های کوچک مناسب هستند و برای استفاده از این دسته به دانش تخصصی آی تی خاصی نیست. هوش تجاری در اکسل و پاور بی آی در این دسته قرار می گیرند.

در سال ۲۰۱۵ مایکروسافت نقشه راه توسعه‌های آتی خود را منتشر کرد و در آن عنوان کرد که تمرکز اصلی مایکروسافت در توسعه‌های آتی ابزارهای هوش تجاری، بر روی “ابزارهای بین سیستمی و بین پلت فرمی” خواهد بود. به این معنی که گزارش‌های هوش تجاری هم در سیستم‌های مختلف اعم از کامپیوتر، تبلت، موبایل … و هم در بین پلت فرم‌های مختلف اعم از ویندوز، لینوکس … قابل طراحی و نمایش خواهد بود.

در راستای توسعه گزارش‌های بین سیستمی، مایکروسافت در آپریل ۲۰۱۵ شرکت دیتازن (DataZen) را خریداری نمود. شرکت دیتازن از سال ۲۰۰۲ فعالیت خود را در زمینه ساخت ابزارهای گزارش ساری و مصورسازی داده شروع کرده بود. این شرکت به طور خاص بر روی طراحی و نمایش گزارش بر روی گوشی موبایل تمرکز کرده بود و بیش از ۱۰۰۰۰ شرکت از سراسر دنیا از محصولات آن استفاده می کردند.

 مایکروسافت پس از مشاهده استقبال خوب از این ابزار شرکت دیتازن، به جای آنکه یک ابزار طراحی و نمایش گزارش بر روی موبایل را از صفر طراحی کند، شرکت دیتازن را در آپریل ۲۰۱۵ خرید. در نسخه ۲۰۱۶ مایکروسافت، محصولات دیتازن با اس کیو ال ۲۰۱۶ ترکیب کرد و پلتفرم هوش تجاری برای نماش گزارش ها بر روی گوشی و تبلت را به وجود آورد. این پلت فرم اصطلاحا موبایل ریپورت پابلیشر (Mobile Report Publisher) نامیده شد.

موبایل ریپورت پابلیشر، ابزار گزارشگیری نسبتا جدید مایکروسافت است که امکان طراحی و نمایش گزارش‌ها بر روی سیستم‌های مختلف (ویندوز، اندروید، آی او اس، ..) و اندازه‌های مختلف صفحه نمایش ( موبایل، تبلت، لپ تاپ … ) را فراهم می کند.

برای طراحی گزارش با استفاده از موبایل ریپورت پابلیشر، SSRS‌ باید بر روی سیستم نصب شود. بعد از آن موبایل ریپورت پابلیشر می‌تواند به منابع داده‌ای مختلفی چون اکسل، اس کیو ال یا کیوب وصل شود و داده‌ها موردنیاز را از آنها بخواند. طراح گزارش‌ها می‌تواند گزارش‌های مورد نیاز خود را طراحی کرده و بر روی سرور گزارش‌های قرار دهد. در تصویر زیر محیط طراحی گزارش را مشاهده می‌کنید.

پس از طراحی گزارش توسط طراح و انتشار آن بر روی سرور گزارش‌ها، کاربر نهایی (مشاهده کننده گزارش‌ها) باید اپلیکشن موبایل ریپورت پابلیشر را بر روی گوشی همراه خود نصب کند و سپس تنظیمات لازم بر روی اپلیکشن را انجام دهد تا به سرور گزارش وصل شود. پس از آن می تواند گزارش‌های طراحی شده مختص موبایل را مشاهده کند. نمونه‌ای از گزارش‌های طراحی شده برای سایز‌‌ها مختلف صفحه نمایش را در تصویر زیر مشاهده می‌کنید.

ابزار هوش تجاری در مایکروسافت (۴)

در مقاله قبلی به بررسی ابزارهای هوش تجاری در اکسل پرداختیم و گفتیم که مایکروسافت با هدف اضافه کردن هوش تجاری به اکسل چهار ابزار پاور کوئری، پاور پیوت، پاور ویو و پاور مپ را به اکسل اضافه نمود. هر چند این ابزارها قدرت فوق العاده ای به اکسل دادند و کاربران زیادی در سراسر جهان جذب کردند. اما فراموش نکنیم که اکسل در ابتدا فقط با هدف ساماندهی، نگهداری و پردازش داده‌ها طراحی شده بود و اضافه کردن امکانات دیگر هوش تجاری مانند گزارش بر روی موبایل، گزارش بر روی کلود، تعریف فیلتر بر روی گزارش ها و یا تعریف حاکمیت داده و سطح دسترسی بر روی گزارش اگر که غیر ممکن نبود، مطمئنا بسیار زمانبر بود. در نتیجه  مایکروسافت تصمیم گرفت که ابزار کاملا مستقلی به نام پاور بی آی را توسعه دهد و تمامی امکانات هوش تجاری سلف سرویس را بر روی این محصول پیاده سازی کند.

 

پاور بی آی چیست؟

طبق تعریف مستندات مایکروسافت، پاور بی‌ای یک ابزار “سلف سرویس هوش تجاری” است. اجازه بدهید به رمز گشایی عبارت “هوش تجاری سلف سرویس” بپردازیم. مایکروسافت تاکید می کند که پاور بی‌ای اولا یک ابزار هوش تجاری است و ابزار هوش تجاری بودن به این معنی است که این ابزار امکان جمع آوری داده از منابع گوناگون و ترکیب آنها، مدل کردن داده ها و نهایتا نمایش گرافیکی در قالب دشبورد، نمودار و نقشه را فراهم می‌کند.

ثانیا مایکروسافت تاکید می کند که پاور بی‌آی یک ابزار سلف سرویس است و سلف سرویس بودن به این معنی است که این ابزار در انحصار واحد آی‌تی نیست و تمامی کاربران با هر سطح دانش آی‌تی می توانند از این ابزار استفاده کنند. داده‌های مورد نیاز خود را از منابع مختلف جمع آوری کرده، آنها را مدل کنند و در نهایت گزارش‌های مورد نیاز خود را بر اساس آنها تهیه کنند. نمونه ای از دشبورد ساخته شده با پاور بی آی را در تصویر زیر مشاهده می کنید

 


هر چند تا اینجا، پاور بی ای شبیه هوش تجاری در اکسل بود، اما دقت کنید که پاور بی آی امکاناتی چون گزارش موبایل، گزارش کلود، فیلتر … را به پاور بی آی اضافه کرده است که باعث مجزا شدن پاور بی آی از هوش تجاری اکسل شده است.

موضوع مهمی که باید به آن اشاره کنیم این است که مایکروسافت جهت جمع‌آوری و ترکیب داده، مدل کردن داده و نمایش گرافیکی در قالب دشبورد، نمودار و نقشه از همان موتورهای پاور کوئری، پاور پیوت، پاور ویو و پاور مپ که در اکسل به کار گرفته شده است، استفاده می‌کند. اما از انجاییکه آپدیت پاور بی آی حدودا هر ۴ ماه یکبار منتشر میشود، و نسخه جدید اکسل حدود سالانه منتشر می‌شود، پاور کوئری، پاور پیوت، پاور ویو و پاور مپ موجود در پاور بی‌آی جدیدتر است.

 

نسخه‌های پاور‌ بی‌آی

پاور بی آی به سه صورت منتشر شده است: ۱- Power BI Desktop که نسخه دسکتاپی پاور بی‌ای است و یک برنامه نصبی است ۲- Power BI Service‌ که نسخه تحت وب است و ۳- Mobile Power BI app که نسخه موبایل پاور بی‌‌آی است و امکان نمایش گزارش‌ها و دشبوردها بر روی گوشی‌ها و تبلت‌های آیفون، اندروید را فراهم می‌کند.

در صورتی که انتخاب بین هوش تجاری در اکسل و پاور بی‌ای برای شما مشکل است، مقاله، مقاله، مقاله را مطالعه کنید.