Дата дата л гэнэ яг юу юм бэ?

Америкийн хамгийн том сүлжээ дэлгүүрүүдийн нэг Таргетад нэгэн аав их л ууртай орж ирээд танай менежертэй уулзмаар байна гэж. Менежер ирмэгц тэрээр та нар миний арван жилийн охин руу хүүхдийн живх өлгийний сурталчилгааны хуудас явуулдаг нь яаж байгаа юм жаахан амьтаныг төр гээд байгаа юм уу гээд л агсарч гарч. Менежер манай системд алдаа гарсан байх дахин ийм алдаа гаргахгүй гээд зөндөө уучлалт гуйж тайвшруулаад явуулав. Гэтэл хэд хоногийн дараа нөгөө хүн ахин хүрч ирээд манай охин жирэмсэн төрөх дөхсөнийг бид мэдээгүй явж харин та нар яаж мэдэв гэв. Менежер дата мэргэжилтнүүдээ дуудаж тайлбарлуулав. Тэд танай охин 7 сарын өмнө манайхаас жирэмсний тест худалдаж авчээ, харин дараа нь манайхаас дахин ариун цэврийн хэрэглэл аваагүй байна. Энэ нь манай системийн хувьд танай охиныг жирэмсэн гэж таних өндөр магадлал болсон байна. Таргет бол таныг юу хүсэж байгааг та өөрөө ч мэдэхээс өмнө мэдэж байдаг. Та олон жил үйлчлүүлж байгаа бол зун дөхөх үед таны өвс хадагч хуучирсан одоо шинийг авах цаг болсон гэж та өөрөө санахаас өмнө яг өвс хадаж эхлэх үед тань руу сүпер хямдралынхаа купоныг явуулна. Тэр бүү хэл та эхнэрээсээ салсан, байшингаа томруулсан, эсвэл жижигрүүлсэн, албан тушаал ахисан, буусан бүгдийг мэдэж байгаа. Яаж? Дата. Жишээ нь та хүүхдийн өглөөний хоол хувцас авдаг байснаа болиод дараалан хэдэн өдөр пиво, бэлгэвч аваад эхлэвэл тэдний систем таныг эхнэрээсээ салсан гэж үзээд тань руу ахин хүүхдийн хувцасны сурталчилгаа явуулахгүй оронд нь насанд хүрэгчдийн бүтээгдэхүүнүүд санал болгох болов уу. Хэрэв та машинаас яг нэг жилийн дараа би хаана юу хийж байх вэ гэж асуувал мэдэхгүй хэлэх боломжгүй харин яг тань шиг ажил орлоготой мянга мянган хүмүүс яг жилийн дараа хэдэн хувь нь хаана юу хийж байхыг бол 99% хувь нарийвчлалтай таамаглаж чадна. Энэ бол ид шид биш энэ бол датаны хүч чадал юм.

Хэдхэн жилийн дараа дата олж авсан тэрийг боловсруулж ашигласан компани нь чадаагүйгээ зах зээл дээрээс арчих болно. Одоо бол газрын тосны төлөө биш датаны төлөө уралдаан эхэлсэн. Тиймээс компани болгон дата инженертэй болох ёстой юм. Үнэтэй гэж айлгүй клауд платформуудад хөрөнгө оруулах ёстой. Тун удах жижигхээн гарааны бизнесүүд Номин, Таван богдыг зах зээлээс шахаж мэдэх юм. (Том том гэж бидний үздэг зарим груп компаниуд ч жижигхээн гарааны бизнесүүдэд зах зээлээ булаалгаж, зайгаа тавьж өгөх нөхцөл үүсэхийг ч үгүйсгэхгүй.) Хэрэв тэд датаны хүч чадалыг дутуу үнэлсээр л байвал шүү дээ.

Өнгөрөсөн сарын 24-30 хооронд Сан-Франциско хотод Data+AI Summit болж онлайнаар олон оффлайнаар 70 гарай мянган дата мэргэжилтнүүд оролцлоо. Amazon, Microsoft, JP Morgan гээд аварга компаниуд дата хиймэл оюунд маш их ач холбогдол өгч байна. Технологийн хөгжил ч толгой эргэм хурдтай байна. Саяхан л гайхшруулж болж байсан data lake data warehouse технологиуд lakehouse-т байраа тавьж өгч байна. Зөвхөн англиар бичихэд өгүүлбэрүүдийг python SQL код болгож хувиргаад дата боловсруулж график дүрслэл хийчихэж байна. Боловсруулж байгаа датаны хэмжээ ч гэж тоймгүй болсон байна. JP Морган өдөрт 500 PB датаг боловсруулж ашигладаг. Хэрэв энэ датаг CD хуулаад өрөх юм бол Эвэристийн оргилоос 100 дахин өндөр болно гэж захирал нь саммит дээр хэлсэн. Databricks зэрэг клауд технологи ашиглахгүйгээр ийм хэмжээний датаг зохицуулна гэдэг ямар ч боломжгүй зүйл юм. Энэ зуун бол датаизмийн зуун юм.