Компьютерийг туршлага дээрээс суралцдаг болгон програмчлах нь програмчлалын маш их хүнд асуудлуудыг эцэслэх болно. Артур Самуел (1959)-Компьютерийн шинжлэх ухааны эрдэмтэн

Машин сургалтын ажиллах зарчим

Өгөгдлүүд болон өгөгдөл бүрт тохирох хариултуудыг машинд оруулна
Машин сургалтад ашигладаг тодорхой алгоритмуудаас үр ашигтайг нь сонгон авч машиныг програмчлана.
Тодорхой дүрэмд суурилсан машин сургалтын загвар ажиллахад бэлэн болно.
Машин луу шинээр өгөгдөл оруулна.
Машин сургалтын загвар тохирох хариултыг боловсруулан харуулна.
Машин сургалтыг яагаад сонгох ёстой вэ?

Машин сургалтын загвар нь нэгэнт өгөгдөлд суурилан сургагдсан тохиолдолд танд хэрэгтэй үр дүнг хормын төдийд бодож чадна. Хэрэв та Youtube ашиглаж үзсэн бол нэг бичлэгээс нөгөөд шилжих хооронд л дараа дараагийн шинэ бичлэгүүдийг санал болгосоор байдгийг анзаарсан байх. Youtube-д нийт сая саяаар тоологдохуйц олон бичлэг байгаа гэж үзэхэд л их хурдан байгаа биз? Машин сургалтын алгоритм ашиглахгүйгээр энэ үр дүнг хамгийн тохиромжтой, хурдацтай гаргах програм бичихийн тулд хэр их хүчин чармайлт орох талаар хэлж мэдэхгүй нь дээ.

Мөн машин сургалтыг ашиглахын тулд түүний цаана буй бүх математик ойлголтыг програмчлах шаардлага огт үүсэхгүй. Аль хэдий нь ашиглахад бэлэн програмчлалын сангууд нээлттэй лицензтэй байдаг тул програмчлалын талаар ойлгодог хүмүүс барьж аваад хийхэд тийм ч их хүч хөдөлмөр зарахгүй.

Машин сургалтын үндсэн 2 төрөл

Ногоо тарьдаг хүний жишээ рүү эргээд оръё. Ногоочин маань ногоонуудыг хооронд нь ангилах чадвараа яадаг ч байлаа гэсэн 2 боломжийн аль нэгээр нь сурсан байх боломжтой. Гадарлаж байна уу? Нэг нь түүнд хэлж зааварлах хүмүүс, ном, сонингийн тусламжтайгаар аль нь аль вэ гэдгийг суралцсан байж болох. Эсвэл дэлхий дээрх анхны ногоочин маань өөрийн туршлагаар бүх зүйлсийг шинээр ангилж, нэрийдсэн байх 2-хон сонголт байгаа юм. Өөрийн биеэр сурсан тохиолдолд мэдээж их хугацааг зарцуулах нь дамжиггүй бөгөөд мань хүн төмсийг төмс гэж нэрлээгүй бол бид одоо төмс биш өөр юу ч гээд явж байж болох.

Машиныг сургах процесс бас энэ 2 төрөлд хамаарагдах бөгөөд түүнийг Supervised, Unsupervised learning хэмээн нэрийддэг. Аль төрлөөр сурахаас шалтгаалан машины маань сурах их үйлсэд хязгаар бас үүснэ гэдгийг анхаарах хэрэгтэй.

Машин сургалтын төрөл, Хэрэглээ, Алгоритм

Ямар сургалтын алгоритм, арга техник ашиглахаас хамааран үр дүн харилцан адилгүй байх бөгөөд бүхнийг гүйцэтгэгч универсал алгоритм одоогоор машин сургалтын ертөнцөд байхгүй. Үүнийг “Үнэгүй хоол гэж үгүй” хэмээн нэрийддэг бололтой юм.

Чиглүүлсэн сургалт — Supervised learning

Чиглүүлсэн сургалтад Таамаглал, Ангилалын асуудлууд багтах бөгөөд түүнд холбогдох шугаман, К тооны ойрхон хөрш, Шийдвэрийн мод гэх мэт алгоритмууд оршино.

Таамаглал

Таамаг гаргахын тулд Юун дээр үндэслэж, Юуг таамаглах вэ? гэдэг хамгийн эхэнд тавигдах асуулт байх ёстой. Дээрх зурагт байшингийн хэмжээ болон үнийн хамаарлийг дүрслэн харуулсан бөгөөд хэмжээ ихсэх тусам үнэ ихсэж байгааг ажиглаж болж байна. График дээрх цэгүүд бол бодит мэдээллийн тэмдэглэгээ бөгөөд дундуур нь татсан шугам бол хамаарлыг илтгэх шугаман функц юм. Яг үнэндээ энэ шугаман функц бол бидний сургасан машин бөгөөд хотын төвд тэдэн метр квадрат байшин авмаар байнаа хэд болох нь вэ? гээд асуухад энэ шугаман функцийн налуу, огтлолцын цэгийг мэдээд авчихсан дунд ангийн хүүхэд хялбархан хэлээд өгнө. Гэхдээ мэдээж харагдаж байгаа шигээ биш. Хотын төвөөс зайтай юу? Халуун хүйтэн устай юу? гээд шалгаах тусам энэ шугамыг олно гэдэг чөтгөрийн тойрог шиг юм болж хувирах вий!

Ангилал

Түрүүнийхтэй л ойролцоо. Хэдэн цэгүүд тэгээд нэг шугам байж л байна. Тэр шугамын мэдээллийг олчихвол тэгээд л машинаа сургачихаж байгаа юмдаа. Ер нь сургах бол амархан гээд хэлчихэд буруудахгүй. Аль мэдээлэл альтай хамааралтай байна. Зарим тохиолдолд худлаа мэдээлэл орж ирсэн бол яах вэ? гэх зэргийг шийдэх нь овоо хэцүү ажил санагдсан. Зураг дээрх однуудыг ханиад, цэгүүдийг хатгай, Feature 1-ийг цээж хатгах түвшин, Feature 2-ийг халуурах түвшин гээд үзчихвэл тэр ангилж байгаа шугам бараг л гарчих болов уу?

Чиглүүлээгүй сургалт — Unsupervised learning

Энэ тохиолдолд хэний юу нь мэдэгдэхгүй баахан л мэдээлэл оруулаад хаячихад тодорхой хэдэн машин сургалтын алгоритмын тусламжтай сургасан загвар маань ижил төстэй зүйлсийг нэг бүлэг гэж авч үзээд юу ч гэж нэрийдсэн өөрийнх нь дур байх нь. Үүнийг одоогийн байдлаар нарийн судлаагүй учир хангалттай хэлээд өгөх юм алга. Минийхээр google photos үүнийг ашигладаг нэг жишээ нь юм уу даа. Холоос ойроос янз янзаар авсан зурагнуудаас хажуугаас, урдаасаа гарсан хүний царайнуудыг бүлэглээд ямар ч байсан нэг хүн гэдгийг нь олж тогтоочихоод хэн гэж нэр өгөх вэ гээд л асуугаад байдаг юм. Ойр дотныхоо хэдэн хүний нэрийг зоож орхичихоод дараа нь түүгээрээ хайхад л гялтайтал гараад ирнэ дээ.

Машин сургалт хаана ашиглагддаг вэ?

Машин сургалт нь хэдийгээр статистик болон хэрэглээний математикийн онол, ойлголт боловч түүнийг програмчласнаар бодит амьдралд хэрэгжүүлэх боломж бүрддэг. Машин сургалтыг ашигладаг хэд хэдэн жишээг дурдвал:

Үнэлгээ — Интернэтээр хайлт хийж буй хүмүүст хамгийн тохиромжтой хайлтуудыг харуулах (Google, Amazon …) Санал болгох — Хэрэглэгчдэд хамгийн сонирхолтой байж болох зүйлсийг санал болгох. (Сурталчилгаа, Бараа бүтээгдэхүүн) Ангилал — Эд зүйлсийг ямар ангилалд багтахыг олж тогтоох Таамаглал — Ямар нэг зүйлийн тоон утгыг таамаглах (Байшингийн үнэ) Бүлэглэх — Ижил төстэй зүйлсийг хамтатгах Сэжигтэй зүйл илрүүлэх — Зарим нийтлэг бус зүйлсийг олж тогтоох (Муудсан хүнс)

Эх сурвалж: Knowledge.hackum.club

BUSINESS INTELLIGENCE (BI) -ИЙГ ТАЙЛБАРЛАХ НЬ

Шууд утгаараа БИЗНЕС ОЮУН хэмээн орчуулагдах уг ойлголт нь байгууллага доторх олон төрлийн алба нэгжүүдэд тус тусдаа хуримтлагдаж буй олон төрлийн мэдээлэл, өгөгдлийг нэг дор багцалж, хоорондын уялдаа холбоог хангах замаар бизнесийн шийдвэр гаргалтыг илүү оновчтой болгох зорилготой. Өөрөөр хэлбэл, дангаараа байхдаа ач холбогдол багатай, боловсруулагдаагүй тэдгээр бүх мэдээллийг нэгтгэж, шинжилж, харьцуулснаар бизнесийг бүхэлд нь харах боломжтой, утга учиртай багц өгөгдлийн санг бий болгох арга техник юм. Ингэснээр тоо судалгаанд суурилсан оновчтой шийдвэр гаргах, бизнесийнхээ ашиглагдаагүй үлдсэн боломжуудыг нээн илрүүлэх, байгууллагын үр бүтээмжийг нэмэгдүүлэх зэрэг олон ач холбогдолтой.

Тэртээ XIX зуунаас эхлэлтэй уг ойлголтыг IBM компанийн судлаач Ханс Петер Лун 1958 онд одоогийн хэлбэрт нь оруулан томьёолжээ. Хэдийгээр бий болоод урт хугацааг өнгөрүүлсэн ч гэлээ үүлэн технологи хөгжиж, хүн төрөлхтөн техник технологийг өдөр тутмынхаа салшгүй хэрэглээ болгосон энэ үеэс л илүү хүртээмжтэй, хялбар болж, байгууллагын хэрэглээнд өргөнөөр нэвтрээд байна. Бидний сайн мэдэх ERP систем нь байгууллагын тархан байрласан бүхий л хэсгийн нөөцийг нэг талбарт нэгтгэн, зохион байгуулдаг. Тэгвэл BI нь тэдгээр үйл ажиллагаа бүрд бий болж буй мэдээллийг автоматаар цуглуулж, үүнд үндэслэсэн төрөл бүрийн бизнесийн шинжилгээ хийдгээрээ онцлог. Орчин үеийн BI технологи нь бүх төрлийн өгөгдлийн сан цуглуулдаг программуудаас гадна интернэт орчин дахь (Google Analytics, Google Cloud SQL, Microsoft-ын программууд, XML гэх мэт) бусад системтэй хоршин ажиллаж, тэдгээрийн мэдээлэл дээр дүн шинжилгээ хийж чаддаг болсон тул хэрэглэгч зөвхөн компанийн дотоод орчноос гадна нийгэм, эдийн засгийн, гадаад орчны нөлөөллийг тооцох, таамаглах боломжтой болжээ.

ЯАГААД “POWER BI” ГЭЖ?

BI шинжилгээ хийдэг QlikSense, Tableau, Power BI гэх мэт олон төрлийн программ, систем бий. Нэг зорилготой ч мэдээж бүгд өөр өөрийн гэсэн давуу болон сул талтай. Жишээ нь, QlikSense чанар, загвар сайн, их багтаамжтай мөртлөө дэндүү олон талбартай, тиймдээ ч бүгдийг нь дүрсжүүлэхэд цаг, зардал их ордог.

Харин энэ удаагийн нийтлэлд онцолж буй Power BI нь дэлхийн хамгийн нөлөө бүхий компаниудыг шалгаруулдаг Fortune 500 жагсаалтад багтсан нийт байгууллагуудын 97 гаруй хувь нь үйл ажиллагаандаа ашигладаг, зохион байгуулалт сайтай программ юм.

Юуны учир тэд POWER BI-г сонгох болов? POWER BI программын давуу талуудыг дурдвал,

Нэгдүгээрт, сайжруулалт тасралтгүй явагддаг. POWER BI-ийг үйлдлийн систем, программ хангамжийн салбарт дэлхийд тэргүүлэгч Microsoft корпораци хөгжүүлдэг. Иймдээ ч уг программ хэрэглэгчийн санал хүсэлтийг тухай бүр тусган авч, цаг үргэлж сайжруулж, хөгжүүлдгээрээ онцлог.

Хоёрдугаарт, оффисын бүхий л өргөн хэрэглээний программуудтай хоршиж ажилладаг (Office 365, SSRS Report Server лицензтэй).

Гуравдугаарт, хэрэглэхэд хялбар, хурдан сурах боломжтой.

Дөрөвдүгээрт, бүх шаардлагатай мэдээллээ нэг цонхонд гаргана. Өөрчлөлт, шинэчлэлийг цагийн хоцрогдолгүй (realtime)-гээр 24 цагийн турш хянах боломжтой ба график дүрсүүд нь үзэмжтэй, нэмэлтээр программчлалын хэл хөгжүүлэн ашиглаж болдог.

Тавдугаарт, өртөг багатай. POWER BI DESKTOP хувилбарыг нь үнэгүй татан авч, ашиглах боломжтой.

Эх Сурвалж: unread.today

Хэрвээ та хаа нэгтээ Их өгөгдлийн талаар судалгаа, нийтлэл уншиж байхад эдгээр мэргэжлийн нэр томьёонууд гарч ирж байсан уу? Тэгвэл бид таны мэдлэгт нэмэр болох үүднээс нэр томьёонуудыг тайлбарлая.

1. Apache Hadoop — Apache-с гаргасан эх өгөгдлийн технологи болох Hadoop нь найдвартай ажиллагаатай, өргөтгөх боломж бүхий Opensource технологи юм. Нэг серверийг олон тооны машинаар өргөтгөх боломжтой буюу их хэмжээний өгөгдлийг тус олон тооны машинуудад байршуулан ачаалуулдаг. Найдвартай ажиллагааны хувьд энэ нь олон тооны машин зэрэг ажиллаж байгаа бөгөөд аль нэг нь ажиллагаагүй болсон тохиолдолд түүнтэй холбогдож байсан программ хангамж өөр машинтай холбогдон үйл ажиллагаагаа хэвийн үргэлжлүүлэн ажилладгаараа онцлог юм. Жишээ нь: Google бидний хайлтыг түргэн хугацаанд гүйцэтгэхийн тулд энэ технологийг ашигладаг.
2. Data Lake — Энэ нь бүтэцлэгдсэн болон бүтэцлэгдээгүй өгөгдлүүдийг бүгдийг нь төвлөрүүлэн нөөцлөх сан юм.
3. Data warehouse — Ямарваа нэг байгууллагын бүхий л хугацааны турш хуримтлуулсан мэдээлэл, өгөгдлүүдийн уурхай юм. Нэг ёсондоо мэдээлэл, өгөгдлүүдийг нэг цэгээс түргэн шуурхай, цэгцтэй олж авах, түгээх боломжийг олгодог.
4. HDFS –HDFS нь өгөгдлийг жижиглэн хуваагаад, тэдгээрийг олон серверүүдэд тархаан байрлуулж, зэрэгцээгээр боловсруулдаг систем юм. Бас нэг давуу тал нь олон газар хуваагдсан файлын хэсэг бүрийг бусад сервер рүү хуулбарлан байрлуулснаар аль нэг серверт алдаа гарахад бусад серверээс өгөгдлийг сэргээн үйл ажиллагааны хэвийн байдлыг хангадаг.
5. Name node — HDFS файл системийн цөм нь бөгөөд өгөгдлийг өөрөөр нь хадгалдаггүй харин файлуудыг кластер дээр хаана тархаан байрлуулсан талаарх мэдээллийг хадгалдаг. Хэрэглэгч ямар нэг файлыг олохын тулд NameNode -тэй харьцдаг. NameNode өөрт байгаа файлуудын тухай мэдээллээс DataNode-г олж өгдөг.

6. Data node — Энэ нь файлуудыг кластер дээр тухайн файлын өгөгдлүүдийг хадгалдаг.

7. Map reduce — Их өгөгдлийг зэрэгцээгээр боловсруулах программ хангамжийн фрэймворк бөгөөд Apache Hadoop-с гадна их өгөгдөлтэй ажилладаг хэрэгслүүд уг фрэймворкийг ашигладаг. MapReduce нь бүтэцлэгдсэн болон бүтэцлэгдээгүй өгөгдлүүдтэй ажилладаг. Map Reduce фрэймворк нь map болон reduce гэсэн хоёр үндсэн функцээс бүрддэг. Map нь процессыг жижиглэн хуваах ба хуваалт бүр нь зэрэг ажилладаг. Reduce нь хуваасан процесс бүрийн гаргасан үр дүнг нэгтгэж эцсийн үр дүн гаргах үйлдлийг хийдэг.

8. Sqoop — Sqoop нь Hadoop болон өгөгдлийн сан удирдах системүүдийн хооронд багц өгөгдлийг дамжуулах үүрэгтэй холболтын хэрэгсэл юм. Өгөгдлийн сан удирдах системээс Hadoop систем рүү өгөгдөл оруулах, Hadoop системээс өгөгдлийн сан удирдах систем рүү өгөгдөл гаргах гэсэн хоёр чиглэлтэйгээр ажилладаг.

9. NOSQL — “Not Only SQL” буюу өгөгдлийн санг удирдах “SQL” -гүй өгөгдлийн сан бөгөөд өгөгдлийн сангийн олон төрлийн, өргөн хүрээний өөр өөр технологиудыг өөртөө агуулдаг.

Өдөр тутмын бизнесийн үйл ажиллагааны үр дүнд төрөл бүрийн дата үүсэж байдаг, тэр дата-аа ангилан боловсруулж, дүгнэлт хийхэд шаардлагатай дашбоардуудтай болсноор одоо яг юу болоод байна, цаашид юу хийвэл, ямар арга хэмжээ авбал дээр вэ, ялгаатай нөхцөл, хувилбаруудыг яаж хурдан туршиж, хурдан алдаж онох вэ, гэх зэрэг шийдвэрүүдийг гаргах боломжуудыг нээж өгдөг.

Өнөө үед зах зээл эзлэх тулаанд CRM нэвтрүүлсэн компаниуд нь зөн совин, мэдрэмждээ итгэгсдээс улам хол тасарч байгаа тухай олон судалгааны үр дүнгүүд гарсаар байна. Amazon, Netflix, Domino’s Pizza гэх мэт компаниуд чухам л CRM-ийнхээ стратегийнхаа хүчээр өөр өөрийн салбартаа дэлхийн хамгийн үнэ цэнэтэй компаниуд болж чадсаныг та бүхэн бэлхнээ мэдэх биз ээ.

CRM гэж юу вэ?

“McKinsey Global Institute-ийн судалгааны тайланд дурдсанаар CRM нэвтрүүлсэн компаниуд шинэ харилцагч татахдаа бусдаас 23 дахин их, харилцагчдаа тогтоон барих тал дээр 6 дахин их, бусдаас илүү ашиг орлоготой ажиллах тал дээр 19 дахин их боломжтой болдог гэжээ.”

Орчин үед хүний нэг зүйлд анхаарлаа төвлөрүүлэх дундаж хугацаа 8-хан секунд болжээ; энэ цаг үеийн ажилтнуудын 80% нь хаанаас ч хамаагүй ажлаа хийхийг хүсдэг болов; дэлхий дээрх нийт дата-ны 90% нь сүүлийн хоёрхон жилд үүсэж бий болсон байх юм; тэрбум гаруй хүний хувийн нууц мэдээлэл нийтэд ил болсон нь аюулын харанга дэлдэж байна.

Тэгвэл CRM-тэй болох үндсэн шалтгаанууд болон үүсэх давуу талуудын талаар дурдъя:

• Орчин үетэйгээ хөл нийлүүлэн алхаж, урагшаа харж, тэмүүлж яваа компаниуд бүгд CRM-тэй болж байна.
• Хурдан, өөртөө итгэлтэй шийдвэр гаргах боломжтой болно. Учир нь өөрийн тань мэдрэмж зөв эсвэл буруу байсныг дата хэлж өгч чадна.
• Дата-нд суурилж зөв таамаглал бүхий шийдвэр гаргаснаар зардлын хувьд илүү хэмнэлттэй ажиллах болно. Мэдрэмж, туршлагадаа найдан алдаатай шийдвэрүүд гаргасэн жишээ олон бий.
• Илүү хурдтай зах зээлд болон харилцагчиддаа хариу үзүүлэх боломж олгоно.
• Харилцагчийн сэтгэл ханамж, зан төлөв, хандлага, борлуулалт, дотоод үйл ажиллагааны бүхий л үйл явц, мөн шинэ болон алдсан боломжуудаа цаг тухайд нь мэдэх боломжтой.

Дататай холбоотой зарим сонирхолтой тоо баримтуудыг дурдъя. Орчин үед хүний нэг зүйлд анхаарлаа төвлөрүүлэх дундаж хугацаа 8-хан секунд болжээ; энэ цаг үеийн ажилтнуудын 80% нь хаанаас ч хамаагүй ажлаа хийхийг хүсдэг болов; дэлхий дээрх нийт дата-ны 90% нь сүүлийн хоёрхон жилд үүсэж бий болсон байх юм.

Орчин үеийн ажилтнууд тохь тухтай оффисын орчин гэхээсээ илүү орон зай, цаг хугацаанаас үл хамааран хаанаас ч хамаагүй ажлаа төвөггүй хийх технологийн таатай орчныг илүү их хардаг, сонирхдог болжээ. Өөрөөр хэлбэл шаардлагатай цаг үед ажлынхаа системүүдэд хаанаас ч хамаагүй холбогдон мэдээлэлд хандан, дата оруулах, харах, засах үйлдлүүд хийн, бусад хүмүүстэй онлайнаар идэвхтэй харилцаа үүсгэж, цаг алдалгүй ажлаа гүйцэтгэх, шийдвэр гаргах боломжийг байгууллагууд олгох шаардлагатай болсон байна. Үүнийг орчин үеийн ажлын байрны үндсэн шаардлага гэж хэлж болно.

Харилцагчдынхаа зан төлөв, нийтлэг болон онцлог шаардлагуудыг маш сайн ойлгож мэдэхгүйгээр бизнес хийх бараг боломжгүй болж байна, учир нь харилцагчид маш их мэдээлэлтэй, мэдлэгтэй болсон. CRM ашиглахаас өөр аргагүй болж байна.

Гол зорилго нь бизнесийн бүхий л үйл ажиллагаагаа автоматжуулж, дижитал болгосноор дата цуглуулсанаар ирээдүйд бусад компаниудаас илүү давуу талыг олж авна.

Эх Сурвалж: Dima.mn

Бид өнгөрсөн цаг хугацааны нөхцөл байдлыг эргээд харахад сайхан байдаг, мэдрэмжүүдийг авч шийдвэр гаргах боломжууд бас төрдөг. Гэхдээ тухайн өнгөрсөн цаг хугацааны хором мөч бүрд үүссэн нөхцөл байдлыг бид шууд харж чаддаггүй. Тодорхой хэмжээний дата цуглуулж, түүн дээрээ дүн шинжилгээ хийснээр бодит байдлыг дүгнэж чадна.

Датаны бизнес өгөх 3 төрлийн нууцлагдмал үр ашиг байдаг.

1. Descriptive буюу тухайн зүйлийн тайлбарыг өгч чаддаг дата.
2. Predictive буюу таамаглал хийх боломж. Өнгөрсөн үеийн дата дээр суурилан ирээдүйг таамаглах боломжийг бий болгодог.
3. Дата нь өөрөө тухайн компанийхаа үйл ажиллагаанд зөвлөгөө үзүүлэх шинж чанартай байдаг.

Технологи хурдтай хөгжиж, бизнесүүд ухаалаг болох тусам дата байгууллагын өрсөлдөх чадварт чухал нөлөөтэй болсоор байна. Хэрхэн технологийн дэвшлийг ашиглан хэрэгтэй датагаа цуглуулж, хэрхэн дүн шинжилгээ хийж үйл ажиллагаандаа ашиглаж байгаа чадвараас зах зээл дээрх өрсөлдөх чадвар шууд хамаарч байна.

Үүнээс харахад бизнесийн хувьд дата бол үнэ цэнэтэй хөрөнгө болж байгаа бөгөөд бизнесийн салбар, байгууллагын том жижгээс хамааралгүй бүх байгууллага датагаа цуглуулах, үүний тулд дата стратегиа тодорхойлох шаардлагатай болох нь харагдаж байна.

Дата бол шинэ үеийн газрын тос. Дата бидэнд төсөөлж байгаагүй боломжуудыг хэдхэн жилийн дотор бий болгосон. Цаашид нь бизнесийн салбарт дата менежмент, дата шинжилгээний ач холбогдол өссөөр байх болно. Датаг стратегийн ач холбогдол бүхий хөрөнгө гэж үзэж, дата менежмент, анализ, стратегиа хөгжүүлж чадсан компаниуд датанд суурилсан шинэ ертөнцөд амжилт олж чадна.

Эх Сурвалж: dima.mn

“Их өгөгдөл”-ийг энгийнээр тайлбарлавал хэрэглэгч талаасаа бид өдөр тутам Google-с хэрэгтэй зүйлсээ хайдаг. Үүний ард бидний хайлтыг их хэмжээний өгөгдлүүдээс богино хугацаанд, оновчтой гүйцэтгэхэд асар олон тооны тооцоолох компьютерүүд ажиллаж байдаг. Харин бизнесүүдэд Google-н хайлт нь оновчтой, зорилтот хэрэглэгчдэд сурталчилгааг нь харуулахын тулд өөрт байгаа их хэмжээний өгөгдлүүдээс боловсруулалт хийн тохирох өгөгдлүүдийг хайн шинжилж хэрэглэгчдэд хүргэдэг.

Big Data буюу “Их өгөгдөл” гэж юу вэ? Үгийн утгаар нь бодвол ямарваа нэг зүйлийн талаарх маш их хэмжээний өгөгдөл гэж ойлгомоор ч юм шиг, эсвэл багтаамж өндөртэй нарийн төвөгтэй өгөгдөл ч юм шиг.  Үнэндээ “Их өгөгдөл” нь мэдээллийн эрин зуунд улс орон болон үндэстэн дамнасан компаниуд, технологийн гигантуудын бүх зүйлсийн талаар илүү ихийг мэдэх хүсэлд тулгуурласан эрэл хайгуулд үүссэн асар их хэмжээний өгөгдөл, түүнтэй холбогдох бүх ойлголтуудын нэгдэл гэж ойлгож болно. Үүнд өгөгдлийг олж авах, бүтээхээс эхлээд боловсруулах, хайх, түгээх, дамжуулах, шинжлэх, визуал болгох, хамгаалах зэрэг үйлдлүүд орно.

ИХ ӨГӨГДӨЛ-г хэрхэн тодорхойлох вэ?

Тэгвэл бид яг юуг буюу ямар өгөгдлийг ИХ ӨГӨГДӨЛ гэж ойлгож болох вэ? Энэхүү асуултын хариултыг ИХ ӨГӨГДӨЛ-г тодорхойлогч 5V-р тайлбарлая.

1. Volume — Тодорхой хугацааны туршид үүсгэгдэж байгаа өгөгдлийн хэмжээ юм. Дэлхий дээр нийт 6 орчим тэрбум хүн гар утастай бөгөөд түүгээр дамжин дата үүсгэгдэж байдаг. Монголд л гэхэд И-баримтын систем нь секунд бүр бидний худалдан авалтын мэдээллийг авч хадгалж байдаг бол интернэт сүлжээний компаниуд бидний хэрэглээний мэдээллийг мөн цуглуулж байдаг. Харин өдөр тутам бидний ашигладаг Фэйсбүүк нь бидний ямар мэдээлэл үзэж байгаа, ямар мэдээлэлд хариу үйлдэл (reaction) үзүүлсэн, ямар мэдээлэл хадгалж байгаа зэрэг мэдээллийн авч байдаг.

2. Velocity — Их хэмжээний өгөгдлийг цуглуулна гэдэг нь тус өгөгдлүүдийг ачаалах, боловсруулах, шинжлэх чадамж хурдтай байх ёстой. Жишээ нь: Нью-Йоркын хөрөнгийн бирж 1 терабайт хэмжээтэй арилжааны мэдээллийг боловсруулах чадамжтай.

3. Variety: Хуримтлагдсан байгаа нийт өгөгдлүүдийн ялгаатай байдал буюу өгөгдлүүд нь бүтэцлэгдсэн, бүтэцлэгдээгүй болон и-мэйл, аудио, видео, санхүүгийн гүйлгээ гэх мэт. Жишээ нь: Сар бүр Facebook-т 30 тэрбум контент шейр хийгддэг бол, Youtube -д 4 тэрбум цагийн бичлэг үзэгддэг. Харин Twitter-т өдөр 200 сая гаруй идэвхтэй хэрэглэгчийн 400 сая гаруй жиргээ нийтлэгддэг. Эдгээр контентууд нь видео, аудио, зураг, текст гэх мэт ялгаатай.

4. Value — Хуримтлагдаж байгаа өгөгдлүүд нь бүгд ямар нэг байдлаар эргээд үнэ цэнэ, өгөөж өгөхүйц байх хэрэгтэй билээ. Хэрэггүй, ашиглагдахгүй өгөгдлүүд нь “Их өгөгдөл” болж чадахгүй юм.

5. Veracity — Хуримтлагдаж буй өгөгдлүүд нь дээр дурдсанчлан хэрэглэгдэхүйц үнэ цэнэтэй байхын зэрэгцээ үнэн бодитой байх хэрэгтэй. “Их өгөгдөл”-н үндсэн зорилгын нэг бол шийдвэр гаргалтын оновчтой байдлын нэмэгдүүлэхэд оршдог бөгөөд ашиггүй, худал өгөгдөл нь сайн үр дүн мэдээж авч ирэхгүй. Жишээ нь: АНУ-н эдийн засагт жилд 3,1 их наяд доллар poor data буюу хэрэгцээгүй өгөгдөлд зарцуулагддаг.

“Их өгөгдөл”-тэй ажиллах ямар технологи байдаг вэ?

“Их өгөгдөл”-тэй ажилладаг хамгийн нийтлэг бөгөөд шалгарсан технологи бол Hadoop юм. Apache-с гаргасан эх өгөгдлийн технологи болох Hadoop нь найдвартай ажиллагаатай, өргөтгөх боломж бүхий Opensource технологи юм. Нэг серверийг олон тооны машинаар өргөтгөх боломжтой буюу их хэмжээний өгөгдлийг тус олон тооны машинуудад байршуулан ачаалуулдаг. Найдвартай ажиллагааны хувьд энэ нь олон тооны машин зэрэг ажиллаж байгаа бөгөөд аль нэг нь ажиллагаагүй болсон тохиолдолд түүнтэй холбогдож байсан программ хангамж өөр машинтай холбогдон үйл ажиллагаагаа хэвийн үргэлжлүүлэн ажилладгаараа онцлог юм. Жишээ нь: Google бидний хайлтыг түргэн хугацаанд гүйцэтгэхийн тулд энэ технологийг ашигладаг.

“Их өгөгдөл”-ийн хэн, ямар салбарт ашиглаж байгаа вэ?”

Банк — “Их өгөгдөл”-г түлхүү ашиглаж байгаа салбар бол банк билээ. Банкнууд харилцагчдадаа ямар төрлийн үйлчилгээ, бүтээгдэхүүн санал болгох, харилцагдаа ялгаатай бүлэг болгон ангилах, шинээр болон нэмэлтээр зээл олгох, сэжигтэй болон луйврын гүйлгээнээс болон бусад эрсдэлүүдээс урьдчилан сэргийлэхэд ашиглаж байна.

Засгийн газар — Мэдээж “Их өгөгдөл”-г ашиглах зайлшгүй шаардлагатай газар бол Засгийн газар юм. Улс орны өнөөгийн байдлыг тодорхойлох, төлөвлөгөө, төлөвлөлт хийхэд түлхүү ашиглахын зэрэгцээ ил тод байдлыг нэмэгдүүлэх, гэмт хэргийг буруулах, эрүүл мэндийн төлөв байдал зэргийг оновчтой тодорхойлоход ашиглаж байна.

Боловсрол — Боловсролын байгууллагууд мөн “Их өгөгдөл”-г түлхүү ашиглаж байна. Сургалтын чанар, үнэлгээ болон суралцагчдын төлөв байдал, сургалтын системийн хүртээмжтэй байдал зэргийг тодорхойлоход ашигладаг.

Үйлдвэрлэл, Худалдаа — Үйлдвэрлэл болон худалдааны байгууллагуудын нь бараа бүтээгдэхүүний төлөвлөлт, татан авалт болон маркетингийн оновчлол, оновчтой шийдвэр гаргахад ашиглаж байна.

“Их өгөгдөл”-н хүндрэл юу вэ?

“Их өгөгдөл”-г ашиглана гэдэг нь байгууллага бүрийн хувьд боломжтой биш бөгөөд хэд хэдэн хүндрэл тулгарна. Үүнд:

Боловсруулалт — “Их өгөгдөл”-г боловсруулалт хийнэ гэдэг нь амаргүй зүйл бөгөөд техник, тоног төхөөрөмж зэргийг хувьд ихээхэн хүндрэлүүдтэй учирч болзошгүй.

Хадгалах, Нөөцлөх — Нэрийг нь уншихад л ИХ гэдэг үг орсон байгаа бөгөөд “Их өгөгдөл”-г хадгалж, нөөцлөх нь хүндрэлтэй.

Хайх — “Их өгөгдөл”-с хайлт хийнэ гэдэг нь мөн л техник, төхөөрөмжийн байдлаас хамаарах бөгөөд Google шиг ажиллагаатай биш л бол хайлт хийх нь хүндрэлтэй.

Хуваалцах, Шилжүүлэх — “Их өгөгдөл”-г шилжүүлэх, өөр нэг байгууллагатай хуваалцана гэдэг нь маш ажиллагаатай юм.

Мэдээж хэрэг техник, төхөөрөмж, ажиллах чадамж, хүний нөөц зэрэг нь хангалттай бол эдгээр хүндрэлүүд нь учрахгүй.

Эх Сурвалж: Цэнгэл Ганбаатар

Харин энэ нь бизнест ямар ашиг тустай вэ?

Сүүлийн 20 орчим жил дэлхий дахин мэдээллээр хахаж байгаа гэхэд хилсдэхгүй. Бизнесүүд ДАТА олж авч болох боломжийг улам бүр эрэлхийлж байна. Форбесоос гаргасан судалгаанд дэлхий даяар өдөр бүр дунджаар 2.5х1018 байттай тэнцэх ДАТА үүсгэгддэг хэдий ч үүний 0.5% нь л ашиглагддаг байна. Учир нь ДАТА болгон хэрэгтэй байх албагүй бөгөөд тэр дундаас хэрэгтэйгээ ялган авч хэрэглэнэ гэдэг нь чухал юм. Та хэдий чинээ их ДАТА хүлээн авч, цуглуулж түүнээс хэрэгтэйгээ ашиглаж чадаж байна, төдий чинээ таны гаргаж байгаа шийдвэр улам илүү оновчтой, мэдрэмжтэй бөгөөд хурдан байх болно. Энэ нь яг хүний биетэй ижил юм. Учир нь хүн өөрийн 5 мэдрэхүйгээрээ секунд бүрд дунджаар 10 сая бит мэдээлэл хүлээн авч байдаг бөгөөд энэ нь хүний аливаа зүйлд хариу үйлдэл үзүүлэх чадварыг улам илүү нэмэгдүүлж байдаг билээ. Бид ямарваа нэг айдас төрүүлсэн зүйлийг нүдээрээ харах, чихээрээ сонсох, хүрэх, үнэртэх гэх мэт мэдрэхүйгээрээ мэдэрч түүний дараагаар тархинд айдсын талаарх мэдээллийг хадгалан сэргийлдэг. Өөрөөр бид өөрсдийн мэдрэхүйгээрээ өөрийн дуртай зүйлээ мэдэрч ижил төрлийн зүйлсийг эергээр хүлээн авдаг. Яг үүнтэй ижил танай байгууллагад хэдий чиний олон өгөгдөл цугларсан байгаа нь ирээдүйд гарах эрсдэлээс сэргийлэх, оновчтой шийдвэрийг гаргах, ирээдүйг таамаглах боломж ихэснэ гэсэн үг билээ. Тэгвэл ДАТА яг яагаад таны бизнест хэрэгтэй талаар 5 шалтгааныг дурдъя.

1. Та бизнесийнхээ гүйцэтгэлийн хянахад илүү хялбар болно.

Байгууллагынхаа өдөр тутмын өгөгдлөө алдалгүй хуримтлуулснаар ажилтнуудын гүйцэтгэл болон одоогийн төлөв байдлаа дүрслэн харахад хэрэг болно. Энэ төрлийн платформ, системүүд олон байдаг бөгөөд жишээ нь: Tableau, Plotly, Fusion Charts, Google Charts.

Та байгууллагынхаа ДАТА-г ашиглан тогтмол шинжилгээ хийж дүрслэн хардаг болсноор заавал тайлан гаргах үед л эсвэл асуудал гарсны дараа шинжилгээ хийж цаг алддаг байдал тань үгүй болж цаг хугацаа, хүн хүч болоод санхүүгийн асар их хэмнэлтийг хийхийн зэрэгцээ болзошгүй аюулаас урьдчилан сэргийлэх, оновчтой шийдвэрүүдийг цаг алдалгүй гаргахад тус болох болно.

2. Customer experience буюу хэрэглэгчийн туршлагыг нэмэгдүүлнэ.

Үндсэндээ ДАТА нь таны бизнест доорх 5 давуу талыг авч ирнэ.

1. Find new customers/Шинэ хэрэглэгчдийг олох.
2. Retention rate буюу хэрэглэгчдээ авч үлдэх боломжийг нэмэгдүүлнэ
3. Зах зээл дэхь байр сууриа нэмэгдүүлэх, хэрэглэгчдээ нэмэгдүүлэх хөшүүрэг, боломжуудыг олж мэдэх
4. Борлуулалтын болон зах зээлийн трэндийг урьдчилан таамаглана.
5. Вrand experience-г нэмэгдүүлнэ.

3. Шийдвэрийг түргэн гаргаж, асуудлыг төвөггүй шийддэг болно.

ДАТА болон анализийн тусламжтайгаар та шийдвэрийг заавал ноцтой хэлэлцэж, хуралдалгүйгээр гаргах боломжтой юм. Урт хугацааны ДАТА-г зах зээл болон бусад хүчин зүйлсийн ДАТА-тай харьцуулан шинжилгээ хийж чадвал ирээдүйг бүрэн урьдчилан харах боломжтой болно л гэсэн үг. Мөн нийтлэлийн эхэнд дурдсанчлан ДАТА-ны тусламжтай та аюул, асуудлыг урьдчилан мэдэх, сэргийлхийн зэрэгцээ өмнөх туршлагуудын ДАТА-нд үндэслэн оновчтой төвөггүй шийдэх боломжтой болно гэсэн үг юм.

4. Ажилтны гүйцэтгэлийг байгууллагын амжилттай харьцуулан шинжилэнэ.

5. Хэрэглэгч, зах зээл, өрсөлдөөний төлөв байдлыг мэднэ.