En Source är en Project-bunden anslutningsidentitet. Varje drivrutin fastställer vilka metadata-, preview-, query-, transfer-, write-, delete- eller quality-operationer som är säkra i den aktuella miljön.
Datahantering
Anslut, inspektera, transformera och kör med uttryckligt omfång och körningskontext.
Gå från heterogena Sources och kontrollerade filer till hanterade tabeller, kvalitetskontroller och beständig körningshistorik utan att pressa in alla anslutningar i samma query- eller skrivmodell.
Serverägd Source- och Project-kontext, read-only-policy och avgränsade resultat stöder utforskning innan en query blir SavedQuery, Dataset eller visualiseringsindata. Numrerade flikar är beständiga arbetsytor med namnbyte, autosparande och optimistisk revisionshantering, så ett utkast försvinner inte i tysthet när webbläsaren lämnas.
Uppladdning och säker URL-import skapar först en oföränderlig Drive-version med SHA-256. Preflight fastställer innehåll, delimiter, quote, header och schema innan någon transformering köas.
Validerad CSV, avgränsad UTF-8-text, JSON-objektposter och XLSX-innehåll på första ark laddas in i en ny fysisk tabellversion. Det stabila aliaset ändras först efter att resultatvalideringen har lyckats.
Den publika katalogen exponerar ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule och Master. Varje dispatch skapar en beständig PipelineRun; dolda äldre definitioner blir inte stödda enbart för att en gammal post finns kvar.
Köat, pågående, misslyckat, partiellt, avbrutet och återställt arbete måste förbli åtskiljbart. Ett övervakningsavbrott är inte evidens för att en tillståndsändrande operation aldrig nådde sitt mål. Pipeline har för närvarande inget universellt kontrakt för cancel, retry, rollback eller exactly-once, och databasroller med minsta möjliga behörighet förblir obligatoriska.
Sources exponerar funktioner, inte antaganden.
En Source är en Project-bunden anslutningsidentitet. Varje drivrutin fastställer vilka metadata-, preview-, query-, transfer-, write-, delete- eller quality-operationer som är säkra i den aktuella miljön.
SQL Console är utforskning, inte databasadministration.
Serverägd Source- och Project-kontext, read-only-policy och avgränsade resultat stöder utforskning innan en query blir SavedQuery, Dataset eller visualiseringsindata. Numrerade flikar är beständiga arbetsytor med namnbyte, autosparande och optimistisk revisionshantering, så ett utkast försvinner inte i tysthet när webbläsaren lämnas.
En lyckad eller misslyckad tjänstekörning bevaras som QueryExecution när en giltig Source- och SQL-begäran går till körning.
SavedQuery bevarar redigerbar SQL; publicering som Dataset skapar en separat styrd datatillgång och lineage-referens.
Kommentarsyntax för Source-dialekten och säker read-only-hantering normaliseras genom gemensamma körningsgränser i stället för en wrapper enbart för PostgreSQL.
Filer behåller sin ursprungliga identitet.
Uppladdning och säker URL-import skapar först en oföränderlig Drive-version med SHA-256. Preflight fastställer innehåll, delimiter, quote, header och schema innan någon transformering köas.
CSV, TXT, TSV, PSV, DSV, DAT, DATA, LOG, JSON och XLSX känns igen genom formatmedveten inspektion.
En textfil med en annan filändelse kan följa vägen för avgränsad text när avgränsad innehållsklassificering verifierar den.
Delimiter, kontrollbyte, quote/escape, header-beslut, preview-rader och varningar förblir synliga för användarens bekräftelse.
Kollisioner för filnamn och stabila alias löses uttryckligen och registreras i stället för att skriva över ett befintligt objekt i tysthet.
Publicering är atomär vid det stabila aliaset.
Validerad CSV, avgränsad UTF-8-text, JSON-objektposter och XLSX-innehåll på första ark laddas in i en ny fysisk tabellversion. Det stabila aliaset ändras först efter att resultatvalideringen har lyckats.
-
Validera oföränderliga indata
Filidentitet, storlek, kontrollsumma, parserbeslut och radstruktur kontrolleras före laddning.
-
Skapa en shadow-tabellversion
Den nya fysiska versionen är isolerad från det för närvarande synliga stabila aliaset.
-
Ladda, profilera och validera
Rad-/kolumnantal, schema och avgränsade prover registreras; en partiell laddning blir aldrig den aktuella tabellen.
-
Publicera eller städa upp
Endast ett validerat resultat flyttar aliaset; fel håller den tidigare versionen tillgänglig och registrerar körningsförsöket.
System Sandbox Source exponerar hanterade alias för SQL Console under det nuvarande Project-schemat.
Rename och restore skapar revisionsbara livscykeländringar; restore kan avsiktligt återexponera ett tidigare schemakontrakt.
Pipeline visar implementerad körning utan att överdriva.
Den publika katalogen exponerar ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule och Master. Varje dispatch skapar en beständig PipelineRun; dolda äldre definitioner blir inte stödda enbart för att en gammal post finns kvar.
Master stöder ordnade jobb, väntesteg och kvalitetsgrindar samt seriella eller parallella batcher.
Continuation skapar en ny körning utifrån tidigare child-status; den skriver inte om den ursprungliga körningen.
Jobbdefinitioner är föränderliga och har för närvarande ingen oföränderlig JobVersion.
Avsikten för interval/cron Schedule lagras, men det finns ingen aktiv schedule-dispatcher eller tillförlitlig beräkning av nästa körning.
Feltillstånd är en del av resultatet.
Köat, pågående, misslyckat, partiellt, avbrutet och återställt arbete måste förbli åtskiljbart. Ett övervakningsavbrott är inte evidens för att en tillståndsändrande operation aldrig nådde sitt mål. Pipeline har för närvarande inget universellt kontrakt för cancel, retry, rollback eller exactly-once, och databasroller med minsta möjliga behörighet förblir obligatoriska.
Nästa steg
Börja med flödet där tvetydighet inte får förekomma.
Ta med de system, ansvariga, regler, leveranskrav och evidenskrav som är viktiga.
Diskutera ett kritiskt flöde