En Source er en Project-bundet tilkoblingsidentitet. Hver driver bestemmer hvilke metadata, forhåndsvisning, spørring, overføring, skriving, sletting eller kvalitetsoperasjoner som er trygge i det gjeldende miljøet.
Dataoperasjoner
Koble til, inspiser, transformer og utfør med eksplisitt omfang og utførelseskontekst.
Gå fra heterogene Sources og kontrollerte filer til administrerte tabeller, kvalitetskontroller og vedvarende utførelseshistorikk uten å klemme alle tilkoblinger inn i samme spørrings- eller skrivemodell.
Servereid Source- og Project-kontekst, skrivebeskyttet policy og avgrensede resultater støtter utforskning før en spørring blir SavedQuery, Dataset eller visualiseringsinngang. Nummererte faner er vedvarende arbeidsområder med omdøping, automatisk lagring og optimistisk revisjonshåndtering, slik at et utkast ikke forsvinner stille når nettleseren avsluttes.
Last opp og sikker URL-import oppretter først en uforanderlig Drive-versjon med SHA-256. Preflight etablerer innhold, skilletegn, sitat, overskrift og skjema før enhver transformasjon settes i kø.
Validert CSV, avgrenset UTF-8-tekst, JSON-objektposter og XLSX første arkinnhold lastes inn i en ny fysisk tabellversjon. Det stabile aliaset endres først etter at resultatvalideringen er vellykket.
Den offentlige katalogen viser ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule og Master. Hver sending oppretter en vedvarende PipelineRun; skjulte eldre definisjoner støttes ikke bare fordi en gammel post er igjen.
Arbeid som står i kø, pågår, har mislyktes, er delvis fullført, suspendert eller gjenopprettet, må forbli tydelig adskilt. Et brudd i overvåkingen dokumenterer ikke at en operasjon som endrer tilstand, aldri nådde målet. Pipeline har foreløpig ingen universell kontrakt for kansellering, nytt forsøk eller tilbakeføring; leveringssemantikk og databaseroller med minste privilegium må fortsatt godkjennes.
Sources avslører funksjoner, ikke forutsetninger.
En Source er en Project-bundet tilkoblingsidentitet. Hver driver bestemmer hvilke metadata, forhåndsvisning, spørring, overføring, skriving, sletting eller kvalitetsoperasjoner som er trygge i det gjeldende miljøet.
SQL Console er leting, ikke databaseadministrasjon.
Servereid Source- og Project-kontekst, skrivebeskyttet policy og avgrensede resultater støtter utforskning før en spørring blir SavedQuery, Dataset eller visualiseringsinngang. Nummererte faner er vedvarende arbeidsområder med omdøping, automatisk lagring og optimistisk revisjonshåndtering, slik at et utkast ikke forsvinner stille når nettleseren avsluttes.
En vellykket eller mislykket tjenestekjøring fortsetter som QueryExecution når en gyldig Source- og SQL-forespørsel kjøres.
SavedQuery bevarer redigerbar SQL; publisering som Dataset oppretter en separat kontrollert datainnholds- og avstamningsreferanse.
Kommentarsyntaks for Source-dialekten og sikker skrivebeskyttet håndtering er normalisert gjennom vanlige kjøretidsgrenser i stedet for en PostgreSQL-beskyttet innpakning.
Filer beholder sin opprinnelige identitet.
Last opp og sikker URL-import oppretter først en uforanderlig Drive-versjon med SHA-256. Preflight etablerer innhold, skilletegn, sitat, overskrift og skjema før enhver transformasjon settes i kø.
CSV, TXT, TSV, PSV, DSV, DAT, DATA, LOG, JSON og XLSX gjenkjennes gjennom formatbevisst inspeksjon.
En tekstfil med en annen filtype kan følge den avgrensede tekstbanen når avgrenset innholdsklassifisering bekrefter den.
Avgrensninger, kontrollbyte, sitat/escape, overskriftsbeslutninger, forhåndsvisningslinjer og advarsler forblir synlige for brukerbekreftelse.
Filnavnkollisjoner og stabile aliaser blir eksplisitt løst og logget i stedet for å stille over et eksisterende objekt.
Publisering er atomært i det stabile aliaset.
Validert CSV, avgrenset UTF-8-tekst, JSON-objektposter og XLSX første arkinnhold lastes inn i en ny fysisk tabellversjon. Det stabile aliaset endres først etter at resultatvalideringen er vellykket.
-
Valider uforanderlig inndata
Filidentitet, størrelse, kontrollsum, parseravgjørelser og linjestruktur kontrolleres før lasting.
-
Lag en skyggetabellversjon
Den nye fysiske versjonen er isolert fra det for øyeblikket synlige stabile aliaset.
-
Last inn, profiler og valider
Antall rader og kolonner, skjema og avgrensede prøver registreres; en dellast blir aldri gjeldende tabell.
-
Publiser eller rydd opp
Bare et validert resultat flytter aliaset; feil holder den forrige versjonen tilgjengelig og registrerer kjøringsforsøket.
System Sandbox Source avslører administrerte aliaser for SQL Console under gjeldende Project-skjema.
Gi nytt navn og gjenoppretting oppretter reviderbare livssyklusendringer; gjenoppretting kan med vilje avsløre en tidligere tabellkontrakt på nytt.
Pipeline viser implementert utførelse uten overdrivelse.
Den offentlige katalogen viser ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule og Master. Hver sending oppretter en vedvarende PipelineRun; skjulte eldre definisjoner støttes ikke bare fordi en gammel post er igjen.
Master støtter bestilte jobber, ventetrinn og kvalitetsporter, samt serielle eller parallelle batcher.
Fortsettelse oppretter en ny kjøring basert på tidligere barnestatus; den overskriver ikke den opprinnelige kjøringen.
Jobbdefinisjoner kan endres og har for øyeblikket ikke en uforanderlig jobbversjon.
Hensikten med intervall/cron-planen er lagret, men det er ingen aktiv tidsplanleggingsmotor eller pålitelig beregning av neste kjøring.
Feilforhold er en del av resultatet.
Arbeid som står i kø, pågår, har mislyktes, er delvis fullført, suspendert eller gjenopprettet, må forbli tydelig adskilt. Et brudd i overvåkingen dokumenterer ikke at en operasjon som endrer tilstand, aldri nådde målet. Pipeline har foreløpig ingen universell kontrakt for kansellering, nytt forsøk eller tilbakeføring; leveringssemantikk og databaseroller med minste privilegium må fortsatt godkjennes.
Det neste trinnet
Start med flyten som ikke tåler tvetydighet.
Ta med systemene, de ansvarlige, reglene, leveransekravene og dokumentasjonskravene som er viktige.
Diskuter en kritisk flyt