«Big Data» атамаси «катта маълумотлар» деган маънони билдириб, уни биринчи марта 2008 йилда «Nature» журналининг муҳаррири Клиффорд Линч ишлатган. У дунёда ахборот ҳажмларининг жадал суръатларда ўсиши ҳақида гапириб, фақатгина янги воситалар ва янада илғор технологиялар уларни ўзлаштиришга ёрдам беришини таъкидлаган.

Линч «катта маълумотлар»га суткасига 150 Gb ҳажмда бўлган ҳар қандай кўринишдаги маълумотлар тегишли деб ҳисоблайди, аммо ҳанузгача маълумотларни ягона ўлчов бирлиги мавжуд эмас.

Дунёда рақамланган маълумотлар ҳажми тинимсиз ўсиб бормоқда.

IBC компаниясининг маълумотларига қараганда, 2003 йилда 5 эксабайт (1 эксабайт = 1 миллиард гигабайт) маълумот йиғилган. 2015 йил май ойига қадар дунёда йиғилган маълумотлар ҳажми 6,5 зеттабайтдан ошган бўлса, 2020 йилда инсоният 40-44 зеттабайт рақамли маълумот ҳосил қилган.

«Big Data» – бу жуда тез суръатларда ўсиб бораётган катта ҳажмдаги тизимли ва тизимсиз рақамли маълумотлар тўплами. «Big Data» бизнес жараёнларини оптималлаштириш ва автоматлаштириш, тўпланган маълумотларга асосланган энг самарали қарорларни қабул қилинишини таъминлаш мақсадида ахборотни сақлаш ва қайта ишлашнинг инновацион усулларини ўз ичига олади.

«Катта маълумотлар» тушунчаси ўзи нисбатан янги бўлса-да, аслида унинг келиб чиқиши биринчи маълумотлар марказлари ва реляцион маълумотлар базаларини ишлаб чиқиш бошланган 1960-1970 йилларга тўғри келади.

2005 йилда одамлар Facebook, YouTube ва бошқа онлайн хизматлар фойдаланувчилари қанча маълумот ишлаб чиқараётганини тушуна бошладилар. Шу йили Hadoop (катта маълумотларни сақлаш ва таҳлил қилиш учун махсус яратилган очиқ кодли платформа) ишлаб чиқилди.

2011 йилга қадар катта маълумотлар таҳлили фақат илмий-статистик тадқиқотлар доирасида амалга оширилган, аммо 2012 йилнинг бошига келиб маълумотлар ҳажмининг катта кўламда ўсиши сабабли уларни тизимлаштириш ва амалда қўллаш эҳтиёжи туғилди.

2014 йилдан бошлаб, катта маълумотларга амалий муҳандислик ва IT мутахассислар тайёрлайдиган дунёнинг йетакчи олий ўқув юртлари еътибор қаратишди. Кейин Microsoft, IBM, Oracle, YEMC, ундан кейин эса Google, Apple, Facebook ва Amazon каби йирик корпорациялар қўшилди. Бугунги кунда катта маълумотлар йирик компаниялар ва давлат идоралари томонидан турли соҳаларда ишлатилмоқда.

Барча йиғилган Big Data маълумотлари олинган манбаларга қараб таснифланиши мумкин. AҚШнинг Gartner компанияси «катта маълумотлар»га киритилган маълумотларнинг қуйидаги таснифини таклиф қилади:

1) Операцион маълумотлар. Бу онлайн транзакцияларни қайта ишлаш жараёнида мавжуд бўлган ёки онлайн таҳлилий маълумотлар базасидан олинган мижозлар, етказиб берувчилар, ҳамкорлар ва ходимлар тўғрисидаги маълумотлар. Одатда транзакция маълумотлари, алоқа маълумотлари ва жисмоний шахслар ҳақидаги умумий маълумотларни ўз ичига олади. Кўпинча бундай маълумотлар қўшимча сенсорлар ва корхона жараёнларини мониторинг қилиш ёрдамида муваффақиятли тўпланади. Масалан, банк тизимига уланган касса аппаратлари, ақлли ҳисоблагичлар, овозли алоқа, радиочастотани идентификациялаш ва бошқалар;

2) «Қоронғи» маълумотлар. Ташкилотлар томонидан атайлаб сақланмайдиган ёки тўпланмаган, лекин бизнесни юритиш ёки тармоқ хизматлари билан ишлаш жараёнида тасодифий (йўлда) яратилган ва Интернет архивларида қоладиган маълумотлар. Бундай маълумотлар оммага очиқ ва қисман таҳлил қилиш учун тузилган, жумладан, электрон почта хабарлари, электрон шартномалар, ҳужжатлар, мультимедиа, тизим журналлари ва бошқалар;

3) Тижорат маълумотлари. Катта маълумотлар технологияси имкониятлари пайдо бўлишидан олдин, турли соҳаларда қимматли тижорат маълумотларининг агрегаторлари мавжуд эди. Ушбу агрегаторлар обуна маълумотларининг ўз каталогларига тўлиқ киришни таъминлайди. Бироқ замонавий бозор муносабатларининг потенциал инвесторлар ва мижозлар учун маълумотни очишга йўналтирилганлигини ҳисобга олган ҳолда, тижорат манфаатларига оид кўплаб маълумотлар рақамли муҳитда очиқ жойлаштирилади;

4) Расмий маълумотлар. Давлат органлари томонидан тарқатиладиган маълумотлар (баёнотлар, пресс-релизлар, об-ҳаво прогнозлари, муниципал ривожланиш режалари тўғрисидаги маълумотлар), очиқ давлат регистрлари, эълон қилинган норматив-ҳуқуқий ҳужжатлар (шу жумладан, уларнинг лойиҳалари) энг ишончли ва энг кўп тузилган ҳисобланади;

5) Ижтимоий тармоқлар ва хизматлардан олинган маълумотлар. Йирик ижтимоий тармоқларнинг (Facebook, VKontakte, LinkedIn, Twitter, Instagram ва бошқалар) функциялари, бизнес, бозор муносабатларида жисмоний шахсларнинг иштироки, янги ва истиқболли маҳсулотлар, хизматлар, компаниялар ҳақида яна бир маълумот манбасини яратди. Хабарлар, шарҳлар, таклифлар («репостлар») мақсадли мижозларни, тижорат имкониятларини, рақобатбардош муносабатларни, бизнес ва потенциал ҳамкорларни аниқлаш ҳамда прогноз қилиш учун фаол фойдаланилади.

Big Data таҳлил қилиш учун зарур бўлган маълумотларни танлайди ва тизимлайди, катта маълумотлардан илғор таҳлилий вазифаларни бажариш учун сунъий интеллектдан фойдаланади. Кўпроқ катта маълумотлар кенгайтирилган таҳлилий вазифалар учун қўлланилади, шу жумладан, сунъий ақл ҳам.

Таҳлил қилишнинг тўртта асосий усули мавжуд:

1. Тавсифловчи таҳлил (descriptive analytics) – энг кенг тарқалган усул бўлиб, у «нима бўлди?» деган саволга жавоб беради ҳамда реал вақтда келаётган ва тарихий маълумотларни таҳлил қилади. Aсосий мақсад маълум бир соҳадаги муваффақият ёки муваффақиятсизлик сабаблари ва унинг мунтазамлигини аниқлаш ҳамда ушбу маълумотлардан самарали фойдаланиш.
2. Башоратли таҳлил (predictive analytics) – мавжуд маълумотларга асосланиб, воқеаларнинг энг эҳтимолий ривожланишини башорат қилишга ёрдам беради. Бунинг учун шунга ўхшаш хусусиятлар тўпламига эга бўлган ҳар қандай объект ёки ҳодисаларга асосланган тайёр шаблонлардан фойдаланади.
3. Рецептив таҳлил (prescriptive analytics) – башоратли таҳлил билан солиштирганда ундан кейинги даража. Big Data ва замонавий технологиялар ёрдамида бизнесдаги ёки бошқа фаолиятдаги муаммоли нуқталарни аниқлаш ва келажакда қайси йўл билан улардан қочиш мумкинлигини ҳисоблаш мумкин.
4. Ташхисли таҳлил (diagnostic analytics) – содир бўлган воқеа сабабларини таҳлил қилиш учун маълумотлардан фойдаланади. Бу ҳодисалар ва ҳаракатлар ўртасидаги аномалиялар ва тасодифий алоқаларни аниқлашга ёрдам беради.

Маълумотлар янги бойлик манбасига айлангани сайин, катта маълумотлар ечимлари компанияларнинг ўсишида тобора муҳим рол ўйнаши кутилмоқда. Компаниялар ҳар доим маълумотларга кириш ҳуқуқига эга бўлган, аммо мазмунли маълумотларни олиш учун маълумотларга кириш ва қайта ишлаш имконияти чекланган. «Катта маълумотлар» ечимлари компанияларга ушбу қийинчиликларни енгиш имконини беради.

«Катта маълумотлар» таҳлили компанияларнинг асосини ташкил қилиб, реал вақтда катта маълумотлар тўпламини бошқариш, қайта ишлаш, оптималлаштиришга ёрдам беради ва қарор қабул қилиш қобилиятини яхшилайди. Бундан ташқари, катта маълумотлар ва бизнес-таҳлилнинг асосий мақсади компанияларга ўз мижозларини яхшироқ тушунишга ёрдам бериш ва маркетинг кампанияларини яхшилашдир.

Баъзи тармоқлар катта маълумотлардан фойдаланишда катта ютуқларга эришган бўлса-да, бошқалари ҳали ҳам катта маълумотларга етарли эътибор қаратишгани йўқ. 2025 йилга келиб банк соҳасидаги катта маълумотлар таҳлил бозори 62,10 млрд долларгача ўсиши мумкин. Банк соҳасидаги катта маълумотларнинг статистикасига кўра, жаҳон банк сектори инфратузилмаси аллақачон катта маълумотларни таҳлил қилишни ўз ичига олади.

Масалан, 2013 йил ҳолатига кўра, жаҳон молиявий секторнинг 64 фоизи аллақачон катта маълумотларни ўз инфратузилмасига киритган бўлиб, 2015 йилда бозор ҳажми 12 млрд долларга етган. 2019 йилга келиб катта маълумотларнинг банк операциялари таҳлили бозори 29,87 млрд долларни ташкил этди. 2020-2025 йиллар орасида банк соҳасидаги катта маълумотлар таҳлили бозори ўртача йиллик ўсиш суръати 12,97 фоизни ташкил этиши кутилмоқда.

Катта маълумотлар бозори 2020 йилда 198,08 млрд долларга баҳоланган бўлса, 2022 йилга келиб 274,3 млрд долларгача ўсади ва яқин 5 йилликда йиллик ўсиш суръати 13,2 фоизни ташкил қилади. 2027 йилга келиб 103 млрд долларгача ўсиши ва дастурий таъминот сегменти 45 фоизни ташкил қилиши кутилмоқда.

BARC маълумотларига кўра, ташкилотлар «катта маълумотлар»дан фойда кўрмоқда. Хусусан, стратегик қарорлар қабул қилиш имконияти 69 фоизга, операцион жараёнлар устидан кўпроқ назоратни қўлга киритиш имконияти 54 фоизга, истеъмолчиларни яхшироқ тушуниш имконияти 52 фоизга ва харажатларни камайтириш имконияти 47 фоизга ўсган. Катта маълумотлар имкониятларидан фойдаланаётган компаниялар даромадларининг ўртача 8 фоизга ошгани ва харажатлари 10 фоизга камайганини эътироф этишган.

Forbes  2025 йилга бориб реал вақт режимида 150 зеттабайт ёки 150 трлн гигабайтдан ортиқ маълумотлар таҳлил қилинишини башорат қилган. Forbes  маълумотларига кўра, компанияларнинг 95 фоиздан ортиғи тузилмаган маълумотларнинг бир нечта тўпламини бошқаришда ёрдамга муҳтож, компанияларнинг 40 фоизи эса катта маълумотлар билан шуғулланиш кераклигини айтади.

StrategyMRC  маълумотларига кўра, Hadoop ва катта маълумотлар бозори ҳозирда 138,9 млрд долларга баҳоланмоқда ва ўртача йиллик ўсиш суръати 28,5 фоизни ташкил қилган ҳолда 2022 йилда 30 млрд долларга ўсиши кутилмоқда.

Wikibon  маълумотларига кўра, катта маълумотлар, таҳлилий ва амалий маълумотлар базаси ечимлари ҳажми ўн йил ичида 6 фоиз ўртача йиллик ўсиш суръатида 2017 йилдаги 6,4 млрд доллардан 2027 йилга келиб 12 млрд долларгача ўсиши кутилмоқда. Hadoop, Kafka, Spark ва TensorFlow каби катта маълумотлар экотизимидаги очиқ кодли платформаларга бўлган талаб унинг сунъий интеллект, машинани ўрганиш, чуқур ўрганиш ёки маълумотлар фанига бевосита мурожаат қилиши туфайли камайиши мумкин. Aммо Hadoop, NoSQL, хотира, оқим ва бошқа кўплаб маълумотлар базалари каби маълумотларни таҳлил қилиш платформаларининг гибрид ўрнатилиши маълумотлар кўлами ва маълумотлар ишлаб чиқариш ечимлари бозор улушини оширади.

Бугунги кунда «Big Data» технологиялари бозорида AҚШнинг Amazon.com, Inc., IBM, Microsoft, Oracle, Dell Technologies, Cisco Systems, Inc., Cloudera, Inc., Salesforce.com, Inc., Teradata, Tableau Software, Hewlett-Packard, Prolifics, Inc., Xplenty, Clairvoyant, Teradata, EquBot Inc., Dell Technologies, Vmware, Inc. Databrix корпорациялари ва SAS институти, Германиянинг SAP SE ва Software AG, Япониянинг Fujitsu Limited ва CMIC Co., Ltd., Ҳиндистоннинг Infosys Limited, Хитойнинг Huawei Technologies Co., Ltd. ва Буюк Британиянинг Deloitte Touche Tohmatsu Limited компаниялари етакчилик қилмоқда.

2021 йилда мамлакатларнинг глобал йирик маълумотлар ва бизнес-таҳлил бозоридаги улуши: AҚШ – 51%; Япония – 5,7%; Хитой – 5,5% Буюк Британия – 5,1%; Германия – 4,4%; бошқалар – 28,3%.

«Катта маълумотлар»нинг келажаги таҳлилчиларни талаб қилади. Катта маълумотлар ҳажми ўсишда давом этар экан, унга шўнғиш ва амалий тушунчаларни олиш учун ўқитилган маълумотлар таҳлилчиларига эҳтиёж ортиб бормоқда. «Катта маълумотлар» таҳлили молия, ҳукумат ва соғлиқни сақлаш каби соҳаларда ўзгаришлар яратиш учун ажойиб имкониятларни тақдим этади, шунингдек, фирибгарликнинг олдини олиш, табиий офат юз берганда ресурсларни тақсимлаш ёки соғлиқни сақлашни яхшилаш орқали одамлар ҳаётини ўзгартиришга ёрдам беради.

Туйғун Aсатов, «Aхборот технологиялари ва ахборот ресурсларини ривожлантириш маркази» давлат унитар корхонаси Норматив-техник ҳужжатлар ишлаб чиқиш бўлими бош мутахассиси