Een Source is een projectgebonden verbindingsidentiteit. Elke driver bepaalt welke metadata-, voorvertonings-, query-, overdrachts-, schrijf-, verwijderings- of kwaliteitsbewerkingen in de huidige omgeving veilig zijn.
Data-operaties
Verbinden, inspecteren, transformeren en uitvoeren met expliciete scope en runcontext.
Ga van uiteenlopende Sources en beheerste bestanden naar beheerde tabellen, kwaliteitscontroles en opgeslagen uitvoeringshistorie zonder alle connectoren tot hetzelfde query- of schrijfmodel te reduceren.
Servergestuurde bron- en projectcontext, alleen-lezenbeleid en begrensde resultaten ondersteunen ontdekking voordat een query input voor SavedQuery, Dataset of visualisatie wordt. Genummerde tabs zijn duurzame werkruimten met hernoemen, automatisch opslaan en optimistische revisieafhandeling, zodat het verlaten van de browser het huidige concept niet stilzwijgend verwijdert.
Upload en beveiligde URL-import maken eerst een onveranderlijke Drive-versie met SHA-256. Preflight bepaalt inhoud, scheidingsteken, aanhalingsteken, header en schema voordat een transformatie in de wachtrij komt.
Gevalideerde CSV, gescheiden UTF-8-tekst, JSON-objectrecords en inhoud uit het eerste XLSX-werkblad worden in een nieuwe fysieke tabelversie geladen. De stabiele alias verandert uitsluitend nadat resultaatvalidatie is geslaagd.
De openbare catalogus toont ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule en Master. Elke dispatch maakt een opgeslagen PipelineRun; verborgen verouderde definities worden niet ondersteund alleen omdat een oud record nog bestaat.
Werk in de wachtrij, actief, mislukt, gedeeltelijk, geannuleerd en hersteld moet onderscheidbaar blijven. Een onderbreking van monitoring bewijst niet dat een statuswijzigende bewerking het doel nooit heeft bereikt. Pipeline heeft momenteel geen universeel contract voor annuleren, opnieuw proberen, rollback of precies-één-keer; databaserollen met minimale rechten blijven verplicht.
Sources tonen functionaliteiten, geen aannames.
Een Source is een projectgebonden verbindingsidentiteit. Elke driver bepaalt welke metadata-, voorvertonings-, query-, overdrachts-, schrijf-, verwijderings- of kwaliteitsbewerkingen in de huidige omgeving veilig zijn.
SQL Console is voor verkenning, niet voor databasebeheer.
Servergestuurde bron- en projectcontext, alleen-lezenbeleid en begrensde resultaten ondersteunen ontdekking voordat een query input voor SavedQuery, Dataset of visualisatie wordt. Genummerde tabs zijn duurzame werkruimten met hernoemen, automatisch opslaan en optimistische revisieafhandeling, zodat het verlaten van de browser het huidige concept niet stilzwijgend verwijdert.
Een geslaagde of mislukte dienstuitvoering wordt als QueryExecution bewaard wanneer een geldige Source en SQL-aanvraag in uitvoering gaan.
SavedQuery bewaart bewerkbare SQL; publicatie naar Dataset maakt een afzonderlijk beheerd data-asset en lineage-referentie.
Commentaarsyntaxis van het brondialect en veilige alleen-lezenafhandeling worden via gedeelde uitvoeringsgrenzen genormaliseerd, niet via één PostgreSQL-specifieke wrapper.
Bestanden behouden hun oorspronkelijke identiteit.
Upload en beveiligde URL-import maken eerst een onveranderlijke Drive-versie met SHA-256. Preflight bepaalt inhoud, scheidingsteken, aanhalingsteken, header en schema voordat een transformatie in de wachtrij komt.
CSV, TXT, TSV, PSV, DSV, DAT, DATA, LOG, JSON en XLSX worden herkend via formaatspecifieke inspectie.
Een tekstbestand met een andere extensie kan het pad voor gescheiden tekst volgen wanneer begrensde inhoudsclassificatie dit bevestigt.
Scheidingsteken, controlebyte, quote/escape, headerbeslissing, voorbeeldrijen en waarschuwingen blijven zichtbaar voor gebruikersbevestiging.
Conflicten in bestandsnaam en stabiele alias worden expliciet opgelost en vastgelegd in plaats van een bestaand object stilzwijgend te overschrijven.
Publicatie is atomair bij de stabiele alias.
Gevalideerde CSV, gescheiden UTF-8-tekst, JSON-objectrecords en inhoud uit het eerste XLSX-werkblad worden in een nieuwe fysieke tabelversie geladen. De stabiele alias verandert uitsluitend nadat resultaatvalidatie is geslaagd.
-
De onveranderlijke input valideren
Bestandsidentiteit, grootte, checksum, parserbeslissing en rijstructuur worden vóór het laden gecontroleerd.
-
Een schaduwtabelversie maken
De nieuwe fysieke versie blijft geïsoleerd van de momenteel zichtbare stabiele alias.
-
Laden, profileren en valideren
Aantallen rijen en kolommen, schema en begrensde voorbeelden worden vastgelegd; een gedeeltelijke lading wordt nooit de huidige tabel.
-
Publiceren of opruimen
Alleen een gevalideerd resultaat verplaatst de alias; bij een fout blijft de vorige versie beschikbaar en wordt de poging vastgelegd.
De System Sandbox Source stelt beheerde aliassen beschikbaar aan SQL Console binnen het huidige Project-schema.
Hernoemen en herstellen creëren controleerbare levenscycluswijzigingen; herstellen kan bewust een eerder schemacontract opnieuw beschikbaar maken.
Pipeline toont de geïmplementeerde uitvoering eerlijk.
De openbare catalogus toont ExecuteQ, QueryTransfer, DirectStreamTransfer, SchemaTransfer, TransformSchema, DeleteSchema, NoSqlDelete, DataQualityRule en Master. Elke dispatch maakt een opgeslagen PipelineRun; verborgen verouderde definities worden niet ondersteund alleen omdat een oud record nog bestaat.
Master ondersteunt geordende taken, wachttijden en kwaliteitsdrempels plus seriële of parallelle batches.
Voortzetting maakt een nieuwe run op basis van de eerdere childstatus; de oorspronkelijke run wordt niet herschreven.
Taakdefinities zijn veranderlijk en hebben momenteel geen onveranderlijke JobVersion.
Intentie voor interval-/cron-Schedule wordt opgeslagen, maar er is geen actieve planningsdispatcher of betrouwbare berekening van de volgende run.
Foutstatus maakt deel uit van het resultaat.
Werk in de wachtrij, actief, mislukt, gedeeltelijk, geannuleerd en hersteld moet onderscheidbaar blijven. Een onderbreking van monitoring bewijst niet dat een statuswijzigende bewerking het doel nooit heeft bereikt. Pipeline heeft momenteel geen universeel contract voor annuleren, opnieuw proberen, rollback of precies-één-keer; databaserollen met minimale rechten blijven verplicht.
Volgende stap
Begin met de gegevensstroom waarin geen ruimte is voor onduidelijkheid.
Breng de relevante systemen, eigenaren, regels, leveringsverplichtingen en bewijsvereisten in kaart.
Een kritieke gegevensstroom bespreken