Source je identiteta povezave z obsegom Project. Vsak gonilnik določi, katere operacije z metapodatki, predogledom, poizvedbami, prenosom, pisanjem, brisanjem ali kakovostjo so varne v trenutnem okolju.
Podatkovne operacije
Povežite, preglejte, preoblikujte in izvedite z izrecnim obsegom in kontekstom zagona.
Od raznovrstnih objektov Source in nadzorovanih datotek preidite do upravljanih tabel, preverjanj kakovosti in trajno shranjene zgodovine izvajanja, ne da bi vse konektorje omejili na isti model poizvedovanja ali pisanja.
Strežniško upravljani kontekst vira in Project, pravilnik samo za branje ter omejeni rezultati omogočajo raziskovanje, preden poizvedba postane SavedQuery, Dataset ali vhod za vizualizacijo. Oštevilčeni zavihki so trajni delovni prostori s preimenovanjem, samodejnim shranjevanjem in optimističnim upravljanjem revizij, zato odhod iz brskalnika ne zavrže trenutnega osnutka brez opozorila.
Nalaganje in varen uvoz z URL-ja najprej ustvarita nespremenljivo različico Drive z identiteto SHA-256. Predhodni pregled določi vsebino, ločilo, narekovaj, glavo in shemo, preden se katera koli pretvorba uvrsti v čakalno vrsto.
Preverjeni CSV, razmejeno besedilo UTF-8, zapisi objektov JSON in vsebina prvega delovnega lista XLSX se naložijo v novo fizično različico tabele. Stabilni vzdevek se spremeni šele po uspešnem preverjanju rezultata.
Javni katalog izpostavlja ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule in Master. Vsaka sprožitev ustvari trajno shranjen PipelineRun; skrite podedovane definicije ne postanejo podprte samo zato, ker star zapis še obstaja.
Delo v čakalni vrsti, v teku, neuspešno, delno, preklicano in obnovljeno mora ostati razločljivo. Prekinitev spremljanja ni dokaz, da operacija, ki spreminja stanje, ni dosegla cilja. Pipeline trenutno nima splošne pogodbe za preklic, ponovni poskus, povrnitev ali natanko enkratno izvedbo, še vedno pa so obvezne vloge podatkovne zbirke z najmanjšimi potrebnimi pravicami.
Objekti Source razkrivajo zmožnosti, ne predpostavk.
Source je identiteta povezave z obsegom Project. Vsak gonilnik določi, katere operacije z metapodatki, predogledom, poizvedbami, prenosom, pisanjem, brisanjem ali kakovostjo so varne v trenutnem okolju.
SQL Console je namenjena raziskovanju, ne upravljanju podatkovne zbirke.
Strežniško upravljani kontekst vira in Project, pravilnik samo za branje ter omejeni rezultati omogočajo raziskovanje, preden poizvedba postane SavedQuery, Dataset ali vhod za vizualizacijo. Oštevilčeni zavihki so trajni delovni prostori s preimenovanjem, samodejnim shranjevanjem in optimističnim upravljanjem revizij, zato odhod iz brskalnika ne zavrže trenutnega osnutka brez opozorila.
Uspešna ali neuspešna izvedba storitve se ohrani kot QueryExecution, ko veljavna zahteva Source in SQL vstopi v izvajanje.
SavedQuery ohrani SQL, ki ga je mogoče urejati; objava kot Dataset ustvari ločeno upravljano podatkovno sredstvo in referenco izvora.
Sintaksa komentarjev narečja Source in varno ravnanje samo za branje se poenotita prek skupnih meja izvajanja, ne z enim ovojem, omejenim na PostgreSQL.
Datoteke ohranijo izvorno identiteto.
Nalaganje in varen uvoz z URL-ja najprej ustvarita nespremenljivo različico Drive z identiteto SHA-256. Predhodni pregled določi vsebino, ločilo, narekovaj, glavo in shemo, preden se katera koli pretvorba uvrsti v čakalno vrsto.
CSV, TXT, TSV, PSV, DSV, DAT, DATA, LOG, JSON in XLSX se prepoznajo s pregledom, ki upošteva obliko zapisa.
Besedilna datoteka z drugo končnico lahko uporabi pot razmejenega besedila, če to potrdi omejeno razvrščanje vsebine.
Ločilo, kontrolni bajt, narekovaj oziroma ubežni znak, odločitev o glavi, vrstice predogleda in opozorila ostanejo vidni, da jih uporabnik lahko potrdi.
Kolizije imena datoteke in stabilnega vzdevka se razrešijo izrecno in zabeležijo, namesto da bi potiho prepisale obstoječi objekt.
Objava je atomska na ravni stabilnega vzdevka.
Preverjeni CSV, razmejeno besedilo UTF-8, zapisi objektov JSON in vsebina prvega delovnega lista XLSX se naložijo v novo fizično različico tabele. Stabilni vzdevek se spremeni šele po uspešnem preverjanju rezultata.
-
Preverite nespremenljivi vhod
Pred nalaganjem se preverijo identiteta datoteke, velikost, kontrolna vsota, odločitev razčlenjevalnika in struktura vrstic.
-
Ustvarite senčno različico tabele
Nova fizična različica je ločena od trenutno vidnega stabilnega vzdevka.
-
Naložite, profilirajte in preverite
Zabeležijo se število vrstic in stolpcev, shema ter omejeni vzorci; delno nalaganje nikoli ne postane trenutna tabela.
-
Objavite ali počistite
Vzdevek premakne le preverjeni rezultat; ob napaki ostane prejšnja različica na voljo, poskus zagona pa se zabeleži.
System Sandbox Source izpostavi upravljane vzdevke v SQL Console znotraj sheme trenutnega Project.
Preimenovanje in obnovitev ustvarita revizijsko sledljive spremembe življenjskega cikla; obnovitev lahko namerno znova izpostavi prejšnjo pogodbo sheme.
Pipeline odkrito prikazuje dejansko podprto izvajanje.
Javni katalog izpostavlja ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule in Master. Vsaka sprožitev ustvari trajno shranjen PipelineRun; skrite podedovane definicije ne postanejo podprte samo zato, ker star zapis še obstaja.
Master podpira urejena opravila, premore in kontrolna vrata kakovosti ter zaporedne ali vzporedne sklope.
Nadaljevanje iz prejšnjega stanja podrejenega opravila ustvari nov zagon; izvornega zagona ne prepiše.
Definicije opravil so spremenljive in trenutno nimajo nespremenljivega JobVersion.
Namera intervalnega oziroma cron Schedule se shrani, vendar ni dejavnega razporejevalnika ali zanesljivega izračuna naslednjega zagona.
Stanje napake je del rezultata.
Delo v čakalni vrsti, v teku, neuspešno, delno, preklicano in obnovljeno mora ostati razločljivo. Prekinitev spremljanja ni dokaz, da operacija, ki spreminja stanje, ni dosegla cilja. Pipeline trenutno nima splošne pogodbe za preklic, ponovni poskus, povrnitev ali natanko enkratno izvedbo, še vedno pa so obvezne vloge podatkovne zbirke z najmanjšimi potrebnimi pravicami.
Naslednji korak
Začnite s tokom, ki ne dopušča dvoumnosti.
Vključite pomembne sisteme, odgovorne osebe, pravila, obveznosti dobave in zahteve glede dokazil.
Pogovorimo se o kritičnem toku