Weboldalak kaparása Power Query használatával - Excel tippek

A Power Query elég erős. De a Power Query Squared-et fogom megtenni … írok egy lekérdezést egy oldalra, majd az Excel-et ugyanazt a lekérdezést hajtom végre egy teljes weboldal-listán.

Videót nézni

  • A mai trükköt az M is a Data Monkey könyvhöz igazította
  • Hozzon létre egy lekérdezést, hogy adatokat kapjon egy weboldalról
  • Szerkessze a lekérdezést, hogy a (VariableName) => függvényré változtassa a Let előtt
  • Változtassa a keményen kódolt URL-t VariableName-re
  • Nevezze át a lekérdezést fxWeather-re
  • Bezárás és betöltés. Az adatok eltűnnek.
  • Az Excel Trickery segítségével hozzon létre egy táblázatot az összes URL-ről
  • Hozzon létre egy lekérdezést abból a táblázatból.
  • Adjon hozzá egy új Időjárás oszlopot =fxWeather((URL))
  • Bontsa ki az oszlopot. Törölje a jelölést az Előtag jelölőnégyzetből
  • Elképesztő!

Videó átirat

Ismerje meg az Excel programot a Podcast 2056-os epizódjából: Power Query négyzetből

Hé, üdvözlöm újra a neten, Bill Jelen vagyok. Akkor találkoztam ezzel a trükkel, amikor egy dallasi konferencián készültem előadást tartani az Excelapalooza nevű konferencián, az eddigi legnagyobb Excel konferencia néven. Minden szeptemberben meg kell nézni Dallasban.

És köszönet illeti Ken Puls-t és Miguel Escobart, mert egy órát kellett tennem az áramellátás lekérdezésén, így természetesen kivettem egy fantasztikus könyvet, a világ legnagyobb könyvét a Power Query-ről. Átlapoztam a könyvet, és láttam, hogy van egy technikájuk, és azt mondtam: „Várj egy kicsit. Megnézem, sikerül-e adaptálnom ezt a technikát. ” És ez számomra félelmetes a teljesítmény lekérdezésében. És itt tesszük, mit fogunk tenni, elveszítünk egy teljesítmény lekérdezést, majd futtatjuk azt az energia lekérdezést, azt a kérdést, több tucatszor, rendben?

Tehát az a példa, amellyel előálltam, rendben, adatokat akartam kinyerni egy weboldalról. És kimentem - csak kerestem néhány weboldalt, amit tudtam -, amelyeket példának tudnék felhozni. A Weather Underground-ra kerültem, és itt van az URL, és láthatja, hogy Dallas-Fort Worth-ban voltam, ezért Dallas adatait gyűjtjük, és úgy tűnik, hogy 2015. január 2-án. Tehát ott az URL-ben vannak a paraméterek , jobb? És ez egy olyan URL, amely éppen megérett a dolog működéséhez.

Gyorsan megnézzük a weboldalt, bár ez nem olyan fontos. Látja, hogy sokféle adat van itt a weboldalon, és úgy döntöttem, hogy csak megpróbálok csapadékot, magas és alacsony hőmérsékletet elérni. És itt van ez a lekérdezés. És hadd mondjam el itt, hogy ez a podcast nem arról szól, hogyan lehet létrehozni ezt a lekérdezést, új lekérdezést, más forrásokból, webről, meg kell adni az URL-t, majd egy csomó lépést, amelyeket itt nem részletezek, hogy megszerezzem a Max Temp, Min Temp és a csapadék végső válasza. A lényeg az, hogy megkapja a saját lekérdezését, és azt egy csomó dologra felhasználja.

Tehát rákattintok a Bezárás és betöltés elemre, és ez a lekérdezés működik, és visszaadja az egy sort. Minden csodálatos. És visszajövök, szerkesztem ezt a lekérdezést és a Nézet, Haladó szerkesztőhöz megyek. Fogom ezt a lekérdezést, és függvényvé teszem, rendben? Tehát itt a LET szó előtt megnyomom az Enter billentyűt. Zárójelben pedig adok neki egy változót (MyURL), majd => kis nyíl, rendben? Menő. Aztán itt lent, ahol idézőjelek vannak az URL-en, meg akarok szabadulni a teljes URL-től, az idézőjeleket is beleértve, majd beírom a MyURL változó nevemet, rendben. Tehát azt mondjuk, hogy továbbítjuk az URL-re, és ugyanezt a lekérdezést fogja megtenni, de bármilyen URL-lel történetesen továbbítjuk is.

Most itt van néhány zavaró dolog, amikor a Kész gombra kattintok, ó, férfiak! Az összes alkalmazott lépésem eltűnt, és azt akarják, hogy adjak meg egy paramétert. Csak hagyja figyelmen kívül mindezt. Ezt át fogjuk nevezni; fxWeathernek fogjuk hívni. Az FX természetesen a függvény rövidítése, és valóban emlékeznie kell erre a névre, és emlékeznie kell a nagybetűs betűkre, ez pár perc alatt nagyon fontos lesz. Otthon, Bezárás és betöltés és BAM! Minden eltűnt. Óh ne! De ez rendben van. Rendben, szóval tudjuk, hogy ott van. Csak kapcsolat. Most átmegyek ide, és ez csak egyenesen a régi Excel, rendben? Tehát itt van az URL, kitörtem az URL első részébe, az URL végébe. Tudom, hogy be kell vennem a dátumot; Ezt az év furcsa formátumában kell megformáznom,hónap és nap, ezért a TEXT függvényt használtam erre. Ide írja be a kezdő dátumot. Még a repteret is megváltoztathatom, így most össze-vissza járok. Csináljuk az Orlando számára az MCO-t, és végezzünk néhány friss adatot. Tehát 2016.10.01-től kezdem, rendben. Tehát most itt van felállítva ez a nagyszerű kis asztal. Egyébként pedig egy asztalnak kell lennie. A formátumot táblázatként vagy a Ctrl + T formátumban kell használni. Tehát, tudod, ez csak a dátum megragadása, majd + 1 + 1 + 1. Formázom, elkészítem az URL-t.A formátumot táblázatként vagy a Ctrl + T formátumban kell használni. Tehát, tudod, ez csak a dátum megragadása, majd + 1 + 1 + 1. Formázom, elkészítem az URL-t.A formátumot táblázatként vagy a Ctrl + T formátumban kell használni. Tehát, tudod, ez csak a dátum megragadása, majd + 1 + 1 + 1. Formázom, elkészítem az URL-t.

Rendben, most ebből a táblázatból fogunk létrehozni egy lekérdezést. Rendben, és ott vannak az információim. Hozzáadok egy új oszlopot, hozzáadok egy egyéni oszlopot, az oszlopokat időjárásnak hívták, és a képlet = fxWeather lesz. Győződjön meg róla, hogy pontosan ugyanaz a kis- és nagybetű van, és beillesztjük az URL nevű mezőt, zárójeleket zárva. Nincs szintaktikai hiba, kattintson az OK gombra. Itt akarnak tudni az adatvédelemről, ezek mind a nyilvános adatok, kattintson a Mentés gombra, rendben. Szóval, itt a dátum. Vicces, hogy valójában megváltoztatták a formátumomat olyanra, ami nem úgy néz ki, mint amivel kezdtem. És akkor itt van az Időjárás a kibővített szimbólummal. Kattintson a kibontás szimbólumra, és törölje az Eredeti oszlopnév használata előtagként jelölést. Azt akarom, hogy a Max, a Min, a Csapadék,kattintson az OK gombra. Rendben, és most már csak a dátumra és ezekre az információkra van szükségem. Tehát jobb gombbal kattintok és eltávolítom ezt az oszlopot, jobb gombbal kattintom és eltávolítom ezt az oszlopot. Itt nincs szükségem arra az időre, ezért azt mondom, hogy ez csak egy randevú, rendben. És nézd meg, mit csinál minden dátumon, amikor átmegyek rajta visszatér a magas, az alacsony és a csapadék Orlando számára. Minden sor itt egy másik weboldalra kerül. Képzelje csak el, ha nem 15, hanem 5000 sor lenne, akkor úgy állítaná be, hogy egyik napról a másikra futjon. Ehhez makrókat szoktam írni. Valójában az egyik a weblapon az, hogy miként lehet makrót készíteni a weboldal ezer különböző weboldalról történő kaparására, amelyre már nincs szükség a teljesítmény lekérdezésével.Kattintson jobb gombbal és távolítsa el ezt az oszlopot, kattintson jobb gombbal és távolítsa el ezt az oszlopot. Itt nincs szükségem arra az időre, ezért azt mondom, hogy ez csak egy randevú, rendben. És nézd meg, mit csinál minden dátumon, amikor átmegyek rajta visszatér a magas, az alacsony és a csapadék Orlando számára. Itt minden sor egy másik weboldalra kerül. Képzelje csak el, ha nem 15, hanem 5000 sor lenne, akkor úgy állítaná be, hogy egyik napról a másikra futjon. Ehhez makrókat szoktam írni. Valójában az egyik a weblapon az, hogy miként lehet makrót készíteni a weboldal ezer különböző weboldalról történő kaparására, amelyre már nincs szükség a teljesítmény lekérdezésével.Kattintson jobb gombbal és távolítsa el ezt az oszlopot, kattintson jobb gombbal és távolítsa el ezt az oszlopot. Itt nincs szükségem arra az időre, ezért azt mondom, hogy ez csak egy randevú, rendben. És nézd meg, mit csinál minden randevú, hogy átmegyek rajta; visszatér a magas, az alacsony és a csapadék Orlando számára. Minden sor itt egy másik weboldalra kerül. Képzelje csak el, ha nem 15, hanem 5000 sor lenne, akkor úgy állítaná be, hogy egyik napról a másikra futjon. Ehhez makrókat szoktam írni. Valójában az egyik a weblapon az, hogy miként lehet makrót készíteni a weboldal ezer különböző weboldalról történő kaparására, amelyre már nincs szükség a teljesítmény lekérdezésével.s visszatér a magas, az alacsony és a csapadék Orlando számára. Itt minden sor egy másik weboldalra kerül. Képzelje csak el, ha nem 15, hanem 5000 sor lenne, akkor úgy állítaná be, hogy egyik napról a másikra futjon. Ehhez makrókat szoktam írni. Valójában az egyik a weblapon az, hogy miként lehet makrót készíteni a weboldal ezer különböző weboldalról történő kaparására, amelyre már nincs szükség a teljesítmény lekérdezésével.s visszatér a magas, az alacsony és a csapadék Orlando számára. Itt minden sor egy másik weboldalra kerül. Képzelje csak el, ha nem 15, hanem 5000 sor lenne, akkor úgy állítaná be, hogy egyik napról a másikra futjon. Ehhez makrókat szoktam írni. Valójában az egyik a weblapon az, hogy miként lehet makrót készíteni a weboldal ezer különböző weboldalról történő kaparására, amelyre már nincs szükség a teljesítmény lekérdezésével.

Now, when I Close & Load, it's funny the preview here is showing me all the results. When I Close & Load, they're actually going to go do each query. And so right now we have preview rows loaded and it will take a good long time for this information to get updated. So, go to lunch, do something especially if you're doing more than 15 rows. And it's funny the preview is correct but they're still going out and could chunk, could chunk, could chunking through each individual row.

And there it's loaded. Is this amazing or what? Hey, I do a lot of Excel seminars, the Power Excel seminar in Orlando, Florida. Look at these beautiful temperatures we have down here on November 4, 2016. My afternoon will be all about Power Query, Power BI, Power Pivot, Power Map. So, I'm going to invite you down to Orlando to check out this seminar. There'll be a link there in the top-right hand corner.

Alright, so recap. Today's trick is from this book, M is for (DATA) MONKEY. We built a query to get one web page and then edit that query to change it into a function. So right before the Let statement variable name => and then change the hard-coded URL to whatever that variable name is. Rename the query to fxWeather, Close & Load, the data disappears. Then, we use some sort of Excel trickery to create a table of all the URLs we want to crawl, create a query from that table. This has to be a Ctrl+T table, add a new column of Weather = fxWeather and again it has to match the case there, (URL), Expand that column, uncheck Prefix. BAM! It is amazing.

Thanks to Ken and Miguel for writing this book. Thanks to you for stopping by. Hope to see you in Orlando on November 4th 2016. See you next time for another netcast from.

Download File

Töltse le a minta fájlt innen: Podcast2056.xlsm

érdekes cikkek...