Big Data Elemzési Módszerek

July 18, 2024

'Big Data' elemzési módszerek Tárgykód VIMIAV02 Általános infók Kredit 2 Ajánlott félév ősz Keresztfélév nincs Tanszék VIK-MIT Követelmények Jelenlét Minimális munka? Labor KisZH NagyZH 1 Házi feladat van Vizsga Elérhetőségek Tantárgyi adatlap Tárgyhonlap Bevezetés A tárgy célja a Big Data problémakör megoldását biztosító eszközök és módszerek áttekintése, a nagy adatmennyiségből adódó speciális problémák kezelése. A tárgyaláshoz több szempontból előnyös, közös nevező a komplex modellek használata, valamint az adatok hatékony ábrázolása, vizualizációja, ide értve a vizuális adatelemzés lehetőségeinek áttekintését is. Követelmény Félév végén (kb. 13-14. héten) egy ZH, a szükséges minimum szint a pontok 40%-a. Egy kötelező házi feladat. A házi feladat egy gyakorlati 'Big Data' probléma megoldása az előadáson megismert módszerek és eszközök segítségével. A házi feladat bemutatása és értékelése az utolsó oktatási héten történik, egy közös nyilvános bemutató keretében. Segédanyagok Ellenőrző kérdések A ZH kérdései az ellenőrző kérdések közül kerülnek ki.

Big data elemzési módszerek 2
Big data elemzési módszerek de
Big data elemzési módszerek online
Big data elemzési módszerek map
Big data elemzési módszerek video

Big Data Elemzési Módszerek 2

Big Data probléma  "At rest Big Data" o Nincs update o "Mindent" elemzünk  Elosztott tárolás  "Computation to data" "Not true, but a very, very good lie! " (T. Pratchett, Nightwatch) Elosztott számítástechnika  Big Data: a ma alkalmazott stratégia COTS elosztott rendszerek alkalmazása o Kivételek vannak; lásd IBM Netezza  8 db nyolcmagos gép jóval olcsóbb, mint egy 64 magos  Modern hálózati technológiák: o Memóriánál lassabb o Helyi diszk áteresztőképességénél/válaszidejénél nem feltétlenül!  A tárolás és a feldolgozás is elosztott o Lehetőleg egy helyen legyen azért Felhő számítástechnika A "számítási felhők" egy modell, amely lehetővé teszi a hálózaton keresztül való, kényelmes és széles körű hozzáférést konfigurálható számítási erőforrások egy megosztott halmazához. Amazon Web Services Szolgáltatói oldalon… ~? Alapvető kérdések  Elosztott platformon párhuzamosítás szükséges  Hatékony feldolgozáshoz továbbra is referenciális lokalitás kell  Bár a feldolgozás "közel vihető az adathoz", az adatterítés logikája befolyásolja a teljesítményt o Pl.

Big Data Elemzési Módszerek De

Belépés címtáras azonosítással vissza a tantárgylistához nyomtatható verzió 'Big Data' elemzési módszerek A tantárgy angol neve: Big Data Analysis Techniques Adatlap utolsó módosítása: 2021. június 9. Budapesti Műszaki és Gazdaságtudományi Egyetem Villamosmérnöki és Informatikai Kar Mérnök informatikus alapszak Villamosmérnöki alapszak Villamosmérnöki szak Mérnök informatikus szak Gazdaságinformatikus szak Tantárgykód Szemeszter Követelmények Kredit Tantárgyfélév VIMIAV02 2/0/0/f 2 3. A tantárgyfelelős személy és tanszék Dr. Kocsis Imre, 4. A tantárgy előadója Dr. Pataricza András egyetemi tanár, Méréstechnika és Információs Rendszerek Tanszék Dr. Kocsis Imre adjunktus, Méréstechnika és Információs 5. A tantárgy az alábbi témakörök ismeretére épít valószínűségszámítás és mesterséges intelligencia/gépi tanulás alapjai 6. Előtanulmányi rend Ajánlott: A tárgy tematikája tekintetében komplementer a 'Big Data' elemzési eszközök nyílt forráskódú platformokon c. tárggyal. Így javasolt a két társtárgy együttes felvétele, vagy egymás után elvégzése (tetszőleges sorrendben).

Big Data Elemzési Módszerek Online

A társtárgyak felvétele egymástól függetlenül is lehetséges 7. A tantárgy célkitűzése Az utóbbi évtizedekben exponenciálisan növekvő mennyiségű mérési, megfigyelési adatot rögzítenek az élet minden területén (gazdasági folyamatok, társadalmi viszonyok, tudományos célú vizsgálatok stb. ). Az adatelemzés célja a gyakran mintegy melléktermékként létrejövő adatokban rejlő tudás kinyerése, az adatkapcsolatok felderítése, előrejelzési modellek generálása, stb. A nagymennyiségű adat elemzésénél, az ún. Big Data problémakörben az adatok óriási mennyisége (tera-, peta-, ill. hexabyte méretű adatbázisok) mellett nehézség a legkülönfélébb formában rendelkezésre álló adatok fúziója és homogenizálása is. Az egyre nagyobb feldolgozási kapacitású számítási eszközök mellett célalgoritmusok és -architektúrák biztosítják az óriási adatmennyiség elérhető árú és idő alatti hatékony elemzését. Az új lehetőségek olyan új kérdéseket vetnek fel, mint a megfelelő adatok megszerzését biztosító kísérlettervezés, a mérés megtervezése, valamint a megszerzett adat elemzése.

Big Data Elemzési Módszerek Map

Példa: számítógépes loganalízis. 4. hét Adatok vizualizációja. Sokdimenziós, bonyolult szerkezetű adatok megjelenítése és vizuális feltáró analízise. Vizuális analízis paradigmák, diagramtípusok és felhasználásuk. 5. hét Statikus és interaktív R vizualizációs csomagok; Mondrian. A felhasználói vizualizáció eszközei ( alapok). Példák: cloud teljesítményanalízis, számítógépes csalásfelderítés. 6. hét Klasszikus adatelemzés alapú modellalkotás. Korrelációanalízis, klaszterező és klasszifikációs módszerek, adatkapcsolatok. Dimenzióredukció és alkalmazása az informatikában. 7. hét Lineáris és nemlineáris modellek. Hiányos adatok kezelése. Példa: számítógéprendszer monitorozandó jellemzőinek kiválasztása. Analízis minták, az adatelemzési munkafolyamat-automatizálás eszközei (KNIME, KEPLER). 8. hét Big Data' statisztikai modellezés. Mintavételezés, szűrés, nagy adattömegre adaptált statisztikai modellezés és eszközei (pl. korrelációk, klaszterező módszerek, neurális hálók, kernel módszerek).

Big Data Elemzési Módszerek Video

Hogyan képes a Big Data a vállalatvezetést javítani / támogatni? McAfee és Brynjolfsson (2013) meglátása szerint a Big Data a hatékonyabb információellátás miatt a vállalatvezetésben a döntések javulásához vezet. Az IBM és az MIT Sloan Management Review közös empirikus tanulmánya ezt alátámasztani látszik. Ahogy a harmadik ábrán látható, a Top-Performerek döntéseik során sokkal gyakrabban támaszkodnak analitikus eredményekre, mint megérzésekre. Az analitikus módszerek felhasználásának három szintjét különböztetjük meg (lásd LaValle et al. 2011, S23-24): 3. Ábra Milyen területeken használják fel a vállalatok az adatelemzést? (LaValle et al. 2011, 23. ) Aspirational (aspirációs): az analitikus módszereket annak érdekében használják fel, hogy a meghozott döntéseket alátámasszák, igazolják. Experienced (tapasztalt): a döntéseket az adatok elemzése alapján hozzák meg. Transformed (átalakított): a döntési alternatívák az adatok elemzése révén kerülnek kialakításra. Az ICV ötletműhelye a következő hónapokban meg fogja vizsgálni, hogy a controlling számára milyen új kihívások keletkeznek a menedzsment információellátásának új lehetőségei hatására.

Ha nem, akkor tegyék fel a kérdést maguknak: hogyan lehetséges az, hogy az Amazon mindig az Ön legutolsó vásárlásához passzoló könyveket ajánl? Vagy a Google miért kültéri (outdoor) felszerelésről szóló oldalakat ajánl Önnek, ha Ön korábban egy gyalogtúrát foglalt le az interneten? De a CRM felhasználásokon kívüli további mérhetetlen előnyei lehetnek a Big Datának. Például döntő jelentőségűvé válhat az USA választási harcok során. Az USA elnökének, Obamának a választási kampány csoportja hatalmas adatmennyiségeket használt, hogy eldöntse, mely választói csoportoknál lehet a választási pénzeket a leghatékonyabban felhasználni vagy mely választók nyerhetők meg a leginkább választási adományozónak (Business Intelligence Magazine 2013. ) Big Data egy meglehetősen fiatal jelenség, mely először az elmúlt években jelent meg a nyilvános vitákban és lassan a vállalatoknál is megtalálható. Mi olyan különleges a Big Datában? Miben mutatkozik meg a döntő különbség az elmúlt évtizedek információbázisához képest?