We use all the instances in the test split for each task.

verwenden alle Instanzen im Testsplit für


The Lambda calculus is missing, or they're only evaluated on certain neural models.

Der Mond ist sichtbar. Oder sie werden nur anhand bestimmter neuerer Modelle bewertet.


So what we do is that we show some background knowledge about the two entities.

Wir zeigen also einige Hintergrundwissen über die beiden Entitäten.


Here we can see, as the amount of task increases, the model achieves better performance and in the meantime, lower sensitivity.

Hier können wir sehen, dass, wenn die Anzahl der Aufgaben zunimmt, das Modell eine bessere Leistung erreicht und gleichzeitig eine geringere Empfindlichkeit.


So this is a QR code for our data and model.

ist dies ein QR-Code für unsere Daten und unser Modell.


So what we did, we extracted various statistics about coordination from the enhanced version of the Penn Treebank and see the paper "Why wouldn't you use universal dependencies" and these statistics confirm the observation made many times before that left conjuncts tend to be shorter.

Wir haben verschiedene Statistiken über die Koordination aus der erweiterten Version der Pentribank und sehen uns das Papier an, warum wir keine universellen Abhängigkeiten verwenden würden. Und diese Statistiken bestätigen die Beobachtung, dass die linken Konjunktionen tendenziell kürzer sind


Finally, the watermark needs to be transferable to the attacker's services during the model extraction process.

Schließlich muss das Wasserzeichen während des Modellentnahmeverfahrens auf die Oberfläche des Angreifers übertragen werden.


In the first bubble, Bob says, "Remember that song we were listening to yesterday?"

In der ersten Blase sagt Bob „Denk an das Lied, das wir gestern Abend gehört haben“.


And we ought to do this over looking at the demographics of original data sets annotators, because, usually only a few annotators annotate each instance and because demographics are rarely collected and shared.

Und wir werden das in den Demografien der Originaldatensätze nachschlagen, Annotatoren, weil normalerweise nur wenige Annotatoren vorhanden sind und weil die Demografien tatsächlich gesammelt und geteilt werden.


And some people have suggested targeted evaluation on context-dependent translations, but these resources only support limited types of context-dependent translations and limited sets of languages since they usually rely on domain knowledge and human curation.

einige Leute haben vorgeschlagen, kontextabhängige Übersetzungen auf kontextabhängige Übersetzungen zu bewerten, aber diese Ressourcen unterstützen nur begrenzte Arten von kontextabhängigen Übersetzungen und begrenzte Sprachmengen, da sie normalerweise auf Domänwissen und menschliche Kuration angewiesen sind.


And finally, we look at different individual tokens that have high P-CXMI.

Und schließlich sehen wir uns unterschiedliche individuelle Token an, die eine hohe PSXMI haben,


To give you a teaser of the experimental results, here we compare our method with other treeless models on the COGS benchmark.

Um Ihnen einen Überblick über die experimentellen Ergebnisse zu geben, vergleichen wir hier unsere Methode mit anderen Baumlos-Modellen auf der Grundlage des


As we can see, if we have 10 samples per class, direct fine-tuning starts to beat WSL approaches.

Wie wir sehen können, beginnt Direct Fine-Tuning, wenn wir zehn Proben pro Klasse haben, WS-Ansätze zu schlagen.


However, this effect may be ameliorated when the direct object is very heavy and very long.

Dieser Effekt kann jedoch verbessert werden, wenn das Zielobjekt sehr schwer und sehr lang ist,


And we also see that if we consider the actual elapsed time or the computational-aware time, that is the fastest strategy.

Und wir sehen auch, dass, wenn wir die tatsächliche Laufzeit oder die computergestützte Arbeitszeit betrachten, die FASTER-Strategie die schnellste ist.


Well, if the previous sentence was "Things could start to get dangerous if the ministers find out", then "mole" refers to a spy.

Wenn die vorherige Aussage lautete, dass die Dinge gefährlich werden könnten, wenn die Minister es herausfinden, bezieht sich „Moe“ auf einen Spion.


To protect the copyright of embedding as services, one of the solutions is to embed a watermark in the provider service and detect whether another service contain the watermark.

Um die Urheberrechte von Embedding-Services zu schützen, kann eine der Lösungen darin bestehen, ein Wasserzeichen in den Diensten des Anbieters zu embedden und zu überprüfen, ob ein anderer Dienst das Wasserzeichen enthält.


Overall, from-scratch pre-training seems to obtain higher performance on most of the tasks.

Insgesamt scheint das Scratch-Training eine höhere Leistung bei den meisten Aufgaben zu erzielen. Allerdings können unsere Experimente,


We've also shown that the models are domain-generalizable.

Wir haben auch gezeigt, dass die Modelle domänenspezifisch sind, hier


We go from left to right over the output and determine which multiset token to put in every position.

Wir gehen von links nach rechts über die Ausgabe und bestimmen, welchen Multisets-Token wir in jede Position setzen.


In particular, they often fail to reproduce the systematic correspondences between input and output, such as those that are color-coded in the example.

Insbesondere funktionieren die systematischen Korrespondenzen zwischen Input und Output nicht immer. Die


OFA uses a unified vocabulary for language, image tokens and the coordinates of a bounding box.

OFA verwendet eine einheitliche Vokabularität für Sprache, Bildsymbolen und den Koordinator einer Bindungskiste.


So this measures the model's ability to consistently produce the same outputs for the same task regardless of the slight variation in the wording of the instruction.

die Fähigkeit des Modells zu messen, die gleichen Ergebnisse für die gleiche Aufgabe zu produzieren, unabhängig von geringfügigen Abweichungen in der Formulierung der Anweisung.


For songs, we simply show a Google search link to each song and then ask the annotators to listen to at least some of each song, and read about each song.

zeigen. Für Songs zeigen wir einfach einen Google-Suchlink zu jedem Song. Und bitten Sie dann die Annotatoren, zumindest einige der Lieder anzuhören und darüber zu lesen.


This work was done in collaboration with some folks at the University of Washington and the Allen Institute for AI, namely Sebastian Santy, Ronan Le Bras, Katharina Reinecke and Maarten Sap.

Diese Arbeit wurde in Zusammenarbeit mit einigen Kolleginnen und Kollegen der Universität Washington und des AI-Instituts der Universität Washington durchgeführt, darunter Sebastian Santy, Ronan Labras, Caterina Rinaea und Martin Sap.


We also validate the covertness of the provided embedding by visualising the embedding of sentences on four dataset [INAUDIBLE 4:39] PCA.

Wir validierten auch die Verschlüsselung der bereitgestellten Einbettung, indem wir die Einbettung von Sätzen auf Virtuelle-Z-V-P-A validierten.


But then if we use COMET, context-aware models perform best.

Aber wenn wir kommentierte, kontextsensitive Modelle


We find that all language models achieve unsatisfactory results on planning for specific goals.

Wir stellen fest, dass alle Linearmodelle bei der Planung für bestimmte Ziele unzufriedenstellende Ergebnisse liefern.


In this presentation, we first talk about language modeling in healthcare.

In diesem Vortrag sprechen wir zunächst über Sprachmodellierung im Gesundheitswesen, dann


You can see that in the results of our experiment that several challenges still remain and have been precisely quantified.

den Ergebnissen unseres Experiments können Sie sehen, dass mehrere Herausforderungen noch bestehen und präzise quantifiziert wurden.


Which is not the case for the model based on CamemBERT weights and tokenizer, which suffer from stability issues.

Dies ist nicht der Fall für das Modell, das auf Kammanberwägen basiert und Stabilitätsprobleme aufweist.


But also we want that they are shifted on the left.

diesem Plot sind. Aber auch wir wollen, dass sie auf der linken Seite stehen.


If we directly train neural networks on weakly labeled data, the neural networks tend to memorize the label noise and do not generalize.

mit menschlichen Notationen vergleicht, sind die schwachen Notationen immer noch ein allgemeiner Trend. In jüngsten Arbeiten


We evaluate constrained language planning ability of large language models and develop an over-generate-then-filter method for large language models.

bewerten die eingeschränkte Sprachplanungsfähigkeit großer Sprachmodelle und entwickeln eine übergenerierende Filtermethode für große Sprachmodelle.


The insights that we gained from the human evaluation that we performed using the MQM framework said that the fluency of PaLM is comparable to state-of-the-art systems but the main difference comes from the accuracy.

Die Erkenntnisse, die wir aus der menschlichen Analyse gewonnen haben, die wir mit dem MQM-Rahmenwerk durchgeführt haben, sind, dass die Flüssigkeit von Palm mit dem Zustand der Systeme vergleichbar ist, aber die Hauptunterschiede kommen von der Genauigkeit.


So last but not least, we evaluate language models with different political leanings on hate speech detection and fake news detection to NLP applications that often involve language models and could have very significant implications.

Wir bewerten Sprachmodelle mit unterschiedlichen politischen Ausrichtungen, Sprachprüfungen und Nachrichtenprüfungen, die Sprachmodelle beinhalten können und sehr signifikante Implikationen haben. Also sagen wir das, wenn wir


Second, the watermark should not degrade the utility of the provided embeddings.

Zweitens sollte das Watermark den Nutzen der bereitgestellten Embeddings nicht beeinträchtigen.


Wir verwenden immer eine einfache Vorlage:


So we can ask the model to generate a persona, which is a depiction of an imagined individual using a prompt like "Imagine you are an Asian woman.

das Modell eine Person erzeugen, die eine asiatische Frau beschreibt, die so aussieht, als ob sie sich selbst beschreiben würde.


Typically, this involves considerable formalism-specific pre-processing of the logical forms, for example, to handle variable symbols.

Typischerweise beinhaltet dies eine erhebliche formalismusspezifische Präprozessierung der logischen Formen, zum Beispiel zur Verarbeitung von variablen Symbolen. Auch spezielle Grammatikanalysen


And vice versa, right-leaning language models are better at detecting hate speech targeting white and men, however worse at detecting hate speech targeting at black LGBTQ plus and other minority communities.

treffen. Und umgekehrt: Modellierende Sprachmodelle sind besser darin, Heusprech zu erkennen, die auf Weiß und Mann zielen, aber es ist besser, Heusprech zu erkennen, die auf Schwarz, LGBQT+ und andere Minderheitsgemeinschaften zielen.


And leverage the knowledge already acquired by the model through the attention mechanism between audio input and textual output.

Und die Kenntnisse, die durch das Modell über den Spannungsmechanismus zwischen Audioeingabe und Text Ausgabe bereits erworben wurden,


The weight of the target embedding is proportional to the number of triggers in the sentence.

Gewicht des Ziel-Embeddings ist proportional zur Anzahl der Auslöser in einem Satz.


In our paper, we solve a couple of interesting technical challenges.

In unserem Papier stellen wir einige interessante technische Herausforderungen


Hier ist ein Beispiel aus unserem Datensatz:


So that is what we call as the mismatch scenario.

Das ist das sogenannte Missmatch-Szenario.


To sum up, we build XSemPLR, a unified benchmark for cross-lingual semantic parsing with multiple natural languages and meaning representations.

Zusammenfassend können wir sagen, dass wir ein Beispiel für eine einheitliche Referenz für die semantische Analyse mit mehreren natürlichen Sprachen und vielen Repräsentationen erstellen.


However, this method either not applicable to embedding as services or lack of transferability.

Diese Methoden sind jedoch entweder nicht anwendbar für die Einbettung von Adressdiensten oder es fehlt an der Übertragbarkeit.


For songs, we simply show a Google search link to each song and then ask the annotators to listen to at least some of each song, and read about each song.

In einigen Fällen zeigen wir einfach einen Google-Suchlink zu jeder Liedes und bitten die Annotatoren, zumindest einige davon zu hören.


However these works really don't look at comparing end users with the datasets and models themselves, and studying model and data set positionality is increasingly important as NLP tasks become more subjective and socially oriented, and it's challenging to characterise how these positionalities are skewed because not all decisions are documented and many models are hidden behind APIs.

Diese Arbeiten schauen jedoch nicht wirklich darauf, Endnutzer mit den Datensätzen und Modellen selbst zu vergleichen. Das Studieren des Modells und der Positionierbarkeit ist zunehmend wichtig, um mehr subjektiv und sozial orientiert zu sein. Es ist herausfordernd, diese Positionierungen zu beschreiben, da nicht alle Entscheidungen dokumentiert sind und viele Modelle hinter APIs versteckt sind.


Naive seq2seq models struggle with this kind of out-of-distribution generalization and often produce outputs that are detached from the input.

Naive sequenz-zu-Sequenz-Modelle haben Schwierigkeiten mit dieser Art der Verallgemeinerung außerhalb der Verteilung und produzieren oft Ausgaben, die vom Eingabedaten getrennt sind.


Here we also found that more fine tuning examples, actually also leads to better generalization.

Hier haben wir auch festgestellt, dass mehr Feinabstimmungsbeispiele tatsächlich auch zu einer besseren Verallgemeinerung führen.


And second, how well do models handle these cases?

und zweitens, wie können die Modelle diese Fälle gut handhaben?


"Did you mean 'Easy on Me' or 'I Gotta Feeling'?"

Frage: Meinten Sie 'Easy on me' oder 'Ich habe ein Gefühl'?


The first speech bubble is chosen from a few manual prompts per domain.

Die erste Sprachblase wird aus ein paar manuellen Prompt pro Domäne ausgewählt.


And the MPP evaluation the way that we do it currently with short and single sentence input, may not fully capture the language models abstract knowledge throughout the context window.

Und die MP-Beurteilung, die Art und Weise, wie wir es korrekt mit kurzen und einzelnen Satz-Eingaben durchführen, kann das abstrakte Wissen der Sprachmodelle im Kontextfenster möglicherweise


I'm here to introduce our work "Distilling Script Knowledge from Large Language Models for Constrained Language Planning".

Ich bin hier, um unsere Arbeit vorzustellen, die die Unterscheidung von Skriptkenntnissen von Light-Language-Modellen für eingeschränkte Sprachplanung beinhaltet.


Which can also include grammaticality like BLiMP, SyntaxGym, or acceptability in terms of stereotypes such as CrowS pairs.

Grammatikalität wie Blimp-Syntakt-Gem oder Akzeptabilität in Form von Stereotypen wie Cruass-Paare umfassen können.


For the recipes and books domain, we show some background text from Wikipedia.

Rezepte und Bücher zeigen wir etwas Hintergrundtext von Wikipedia.


As we can see, instruction tuning can significantly improve OFA's performance on seen multi-modal tasks.

Wie wir sehen können, kann die Anweisungseinstellung die Leistung von O.S. auf Multimode-Aufgaben erheblich verbessern. Auch das


And finally, we use our benchmark as well as other metrics to evaluate different models on the document-level machine translation.

Und schließlich verwenden wir unsere Benchmarks und andere Metriken, um verschiedene Modelle auf der Dokumentenebene zu bewerten.


We determine the third token in the output in a similar way by jumping to another multiset token.

Wir bestimmen den dritten Token in der Ausgabe auf ähnliche Weise, indem wir zu einem anderen Multiset-Token springen.


From our analysis of these evaluation results, we found that ABC-Eval behavior labels are overall more reliable than labels collected by existing methods, as measured by inter-annotator agreement on 100 doubly-labeled conversations.

Aus den Ergebnissen dieser Auswertungen geht hervor, dass die A-B-E-Verhaltensetiketten insgesamt zuverlässiger sind als die Etiketten, die durch bestehende Methoden gesammelt wurden. Darüber hinaus sind A-B-C-E-Labels bei der Gesamtkonversationsqualität aussagekräftiger als Metriken, die von existierenden Methoden abgeleitet werden,


So in English, as you might know, direct objects prefer to be close to the verb, while adjuncts may be further away.

ist es also in englischer Sprache, wie du vielleicht weißt, so, dass ein direktes Objekt bevorzugt wird, wenn es der Verfremdung unterworfen ist, während ein Adjunkt vielleicht weiter weg ist, richtig,


Here loves to all conjuncts separately: Lisa, Bart, and Maggie.


Hi, I am Yanis Labrak and I will present you our works on "DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical Domains."

Hallo, ich bin Yan Slavac und ich werde Ihnen unsere Arbeiten über Dr. Bert, ein robustes Trainingsmodell in Französisch für biomedizinische und klinische Bereiche, vorstellen.


mir zuhören, haben wir eine gute Zeit in Ägypten.


First of all, the alignment between input and output is not given in the training data.

gelöst. Zunächst ist die Ausrichtung zwischen Eingabe und Ausgabe in den Trainingsdaten nicht angegeben.


So we have a few recommendations for this.

es eine Position in LED und LP gibt? Wir haben also einige Empfehlungen


And their results so a better performance when using the dev data.

Leistung beim Einsatz der Daten ermöglichen.


In this example, the model has seen shallow recursion during training and is tested on an example with deeper recursion.

In diesem Beispiel hat das Modell während des Trainings eine flache Rezursion gesehen und wurde auf einem Beispiel mit einer tiefen Rezursion getestet.


And our results show many interesting findings.

und unsere Ergebnisse zeigen viele interessante Ergebnisse


Typically, this involves considerable formalism-specific pre-processing of the logical forms, for example, to handle variable symbols.

Typischerweise beinhaltet dies eine vorläufige Verarbeitung der logischen Formen, um z. B. variable Symbole zu handhaben.


Otherwise, there is a large performance drop.

Andernfalls gibt es einen großen Leistungsverlust,


This is a data set that we collected from Reuters News from 2020, and then annotated them with the same CoNLL-2003 annotation guidelines.

+ + +, das wir aus den Nachrichten von Reuters aus dem Jahr 2020 gesammelt und dann mit den gleichen Anmerkungshinweisen Carneal 2003 annotiert haben.


This figure shows the constraint distribution of CoScript.

Diese Abbildung zeigt die eingeschränkte Verteilung von Coscript.


This involves using the latest test sets to avoid an overlap of the test data with the training data of the language model.

um eine Überlagerung der Testdaten mit den Trainingsdaten der Sprachmodelle zu vermeiden.


And in the third speech bubble, Bob uses an indirect reference to select one of these entities, for example, "the newer one."

Frage, und in der dritten Sprechblase wählt Bob eine direkte Referenz aus, um beispielsweise den Neueren auszuwählen. Wir stellen die ersten


We find that there is positionality in NLP.

Wir finden, dass es Positionalität in NLP gibt.


Hi, I'm Siyu Yuan from Fudan University.

Hallo, ich heiße Si Yuyan und komme von der Fudan-Universität.


We find that on transferring the zero-shot performance on the annotated data set is already much better than chance with the best, with AUC .62.

Wir finden, dass die Übertragung der Null-Schnitt-Leistung auf den annotierten Datensatz bereits viel besser ist als mit dem besten


But when we match the structure, that is when we choose the sentences from the same phenomena in BLiMP or SyntaxGym, we see a massive increase or a massive decrease of the MPP judgement for the model, depending on whether the chosen prefix is acceptable or unacceptable.

Aber wenn wir die Struktur wählen, das heißt, wenn wir die Sätze aus demselben Phänomen im Blame-Per-Satz-Grammatik wählen, dann ist das die richtige Struktur. Wir sehen einen massiven Anstieg oder eine massive Abnahme der Einschätzung des Modells durch das Parlament, abhängig davon, ob der gewählte Präfix akzeptabel oder nicht akzeptabel ist.


In our case, we chose to evaluate with Google Translate.

nahe einem kommerziellen System, weshalb wir es mit Google Translate betreiben.


These tasks are derived from 21 existing open-source dataset and each task is equipped with five expert written instructions.

Diese Aufgaben sind von einundzwanzig vorhandenen Open-Source-Datensätzen abgeleitet, und jede Aufgabe ist mit fünf zusätzlichen Anweisungen ausgestattet.


However, previous studies do not enable planning for specific goals and manual dataset annotation is expensive.

dorthin. Vorherige Studien ermöglichen jedoch keine Planung für spezifische Ziele, und die manuelle Datensatzannotation ist aufwendig.


Studying dissonance expressed in language can also be beneficial in understanding extremism and polarization of vulnerable groups.

Die Untersuchung der Abstände in der Sprache kann auch für das Verständnis von Extremismus und Polarisierung von Gruppen sinnvoll sein.


For the first time, we show strong generalization to deeper recursion without relying on trees.

Zum ersten Mal sehen wir eine starke Verallgemeinerung, um die Rekonstruktion durchzuführen, ohne auf Tricks zurückzugreifen.


We've then compared these, annotations with Social Chemistry, Delphi and GPT 4.

Wir verglichen diese Anmerkungen dann mit Social Chemistry, Delphi und GPT-4. Wir werden


As shown in this figure, we need to translate the query in multiple natural languages using neural models to SQL, Lambda or FunQL, and etcetera.

Wie in diesem Bild gezeigt, müssen wir die Anfrage in mehrere natürliche Sprachen übersetzen, indem wir neuere Modelle verwenden: 2, Ceql, Lmda oder FQL und


To no surprise, the classifier performed not much better than chance.

von Unterschieden, um keine Überraschung zu erzeugen, dass die Klassifikation nicht viel besser ist als die Chance.


And the MPP evaluation the way that we do it currently with short and single sentence input, may not fully capture the language models abstract knowledge throughout the context window.

sind, und dass die MPPE-Bewertung, die wir derzeit mit kurzen und einzelnen Sätzen als Eingabe durchführen, möglicherweise nicht vollständig die abstrakte Sprachmodelle-Kenntnisse im Kontextfenster erfassen.


In this setting, the source language is the same as target language, for example German to German or English to English.

In dieser Konstellation ist die Quellsprache dieselbe wie die Zielsprache, zum Beispiel Deutsch zu Deutsch oder Englisch zu Englisch.


To summarize, we showed that recent WSL approaches require clean, manually annotated samples for them to work properly.

Zusammengefasst zeigen wir, dass aktuelle WSL-Ansätze saubere, manuell annotierte Proben erfordern, damit sie ordnungsgemäß funktionieren.


So we use pre-trained OFA large model as a base model.

Daher verwenden wir ein vorbereitetes OFA-Modell als Basismodell;


And a good example of this is the Masakhani initiative.


This is joint work with my colleagues from Google Translate.

Dies ist eine Zusammenarbeit mit meinen Kollegen von Google Translate.


And when we go, as in our case, to five-shot prompting, there is nearly no difference to the actual form of the prompting.

Schuss, und wenn wir, wie in unserem Fall, zum Fächerschießen gehen, gibt es kaum einen Unterschied zur tatsächlichen Form des Schießens. Es


But then if we use COMET, context-aware models perform best.


Additional experiments with fictional knowledge indicated even the best performing models, cannot reliably integrate backward knowledge provided only at inference time.

Zusätzliche Experimente mit fiktiverem Wissen zeigen, dass selbst die besten Leistungsmodelle nicht zuverlässig Hintergrundwissen, das nur zur Zeit der Erinnerung angeboten wird, integrieren können.


Pretrained parameters can contain information about what presidents do and what a TV is but they cannot reliably know who this instance-specific entity "John" is, or who the new president is, because the president might have changed since pretraining.

können Informationen über das, was Präsidenten tun und was sie sind, enthalten, aber sie können nicht zuverlässig wissen, wer diese spezifische Einheit ist oder wer der neue Präsident ist, weil der Präsident sich vielleicht während des Prä-Trainings verändert


We evaluate constrained language planning ability of large language models and develop an over-generate-then-filter method for large language models.

wir bewerten die konstrizierten Sprachplanungsfähigkeiten von großen Sprachmodellen und entwickeln ein übergenerierendes Filterverfahren für große Sprachmodelle.


Finally, cognitive dissonance is important to understand personal cognitive styles of individuals and helps us understand decision making processes better.

Schließlich ist es wichtig, kontextuelle Unterschiede zu verstehen, um persönliche kontextuelle Stile von Einzelpersonen zu verstehen und uns zu helfen, Entscheidungsprozesse besser zu verstehen.


We evaluated the transition capability of such models using the best practices of the MT community.

Wir bewerten die Übersetzbarkeit von Modellen, indem wir die besten Übersetzungen der Gemeinschaft verwenden,


We provide the first and second speech bubbles automatically, but the third one is filled in by the annotator.

Wir liefern die ersten und zweiten Sprechblasen automatisch, aber die dritte wird vom Annotator eingegeben.


It violates one principle, but it satisfies another one.

Es verletzt ein Prinzip, aber es erfüllt ein anderes.


We also can see transfer learning from natural instruction datasets can help OFA to attain much better performance on the natural instruct dataset.

Wir können auch sehen, dass das Transfer-Lernen aus dem Datensatz der natürlichen Anweisung die Leistung von OFA auf dem Datensatz der natürlichen Anweisung verbessern kann.


Our method greatly improves the planning ability both in semantic completeness and faithfulness to the constraint.

Unsere Methode verbessert die Planbarkeit erheblich sowohl in Bezug auf semantische Vollständigkeit als auch in Bezug auf Treue zu den Einschränkungen.


We also find most additional alignment with people who have a college education.

Wir finden auch heraus, dass die meisten zusätzlichen Übereinstimmungen mit Personen mit einem College-Abschluss bestehen,


Please find more details of CoScript in our paper.

Bitte finden Sie weitere Einzelheiten zu Co-Script in unseren Unterlagen.


Creating the dataset is an essential step to this end.

Das Erstellen eines Datensatzes ist ein wesentlicher Schritt auf dem Weg


And finally, there's also a multi-headed approach that's used, for example, in the Hudson's Word Grammar, where they say all conjuncts are heads of the coordinate structure.

Und schließlich ist dies auch ein mehrfach überarbeiteter Ansatz, der beispielsweise in der Katschons-Word-grammatik verwendet wird. Wo, so zu sagen, alle Konjungate über die Koordinatenstruktur stehen,


Additionally, at the time of our research, we discovered a considerable discrepancy in the availability of instructional datasets between NLP and multi-modal.

Darüber hinaus entdeckten wir in der Zeit unserer Forschung eine erhebliche Diskrepanz in der Verfügbarkeit von Anweisungsdatensätzen zwischen L und M.


Natural language understanding models draw on a variety of knowledge sources, such as knowledge contained in their parameters, usually acquired by a pretraining, and knowledge given in inputs at inference time.

Modelle zur Verständigung von nationalen Sprachen basieren auf einer Vielzahl von Wissensquellen, wie z. B. Wissen, das in ihren Parametern enthalten ist, das normalerweise durch eine Vorbereitung erworben wird, und Wissen, das in Eingaben bei der Zeit der


This is joint work with my colleagues from Google Translate.

Dies ist eine gemeinsame Arbeit mit meinen Kollegen von Google Translate.


We observe that models have been used in CoNLL-2003 to develop NER for almost 20 years and this naturally raises several problems.

Wir haben festgestellt, dass Modelle seit fast zwanzig Jahren für die Entwicklung von Neuronen in Corel Draw verwendet werden, und dies wirft natürlich einige Probleme auf.


Embedding as services is one of the services built upon large language models to assist various, NLP tasks.

ist einer der Dienste, die auf großen Sprachmodellen basieren, um verschiedene NLP-Aufgaben zu unterstützen.


But when the governor is on the right this tendency disappears.


And we also try to investigate whether language models can pick up the polarisation that's prevalent in our modern society.

Und wir werden auch versuchen, die Polarisierung, die in unserer modernen Gesellschaft vorherrscht, zu untersuchen.


The orange line is Cross-lingual Zero-shot transfer.

orangefarbene Linie ist der Cross-Lingual-Zero-Shot-Transfer, während die


The trees are intended to capture the compositional process that relates utterances with the logical forms.

Die Bäume sollen das kompositionelle Verfahren erfassen, das sich mit den logischen Formen in Verbindung setzt.


What we see here is that when the governor is on the left, the tendency for the left conjunct to be shorter grows steadily, with the absolute difference in words, and the same is observed when there is no governor as in coordination of sentences.

Was wir hier sehen, ist, dass, wenn die Regierung Die Tendenz, dass die linke Konjunktion kürzer ist, wächst stetig mit der absoluten Differenz in Wörtern und dasselbe wird beobachtet, wenn es keine Gouverneur gibt, aber wenn der Gouverneur


We perform our analysis at three different levels.

Wir führen unsere Analysen auf drei verschiedenen Ebenen durch.


And show that large language models can effectively decompose goals into steps.

und gezeigt, dass große Sprachmodelle Ziele effektiv in Schritte zerlegen können.


So this indicates that language models can also pick up the polarisation in our society.

im Zentrum befinden, so dass die Sprachmodelle auch die Polarisierung in unserer Gesellschaft abbilden können.


This work is done in collaboration with Esin Durmus and Dan Jurafsky.

zu messen. Diese Arbeit wird in Zusammenarbeit mit Esnader Mush und Danarovsky durchgeführt.


So based on these patterns, we conclude with three recommendations for model owners.

Auf der Grundlage dieser Muster können wir drei Empfehlungen für Modelleigentümer zusammenfassen.


We introduce a new method to predict the permutation that does not put any hard constraints on the possible permutations.

Wir führen eine neue Methode zur Vorhersage der Permutation ein, die keine harten Einschränkungen für die möglichen Permutationen


Since its release in 2018, BERT has become one of the most effective approach to solve natural language processing tasks and offers huge performance gains compared to historical static and contextualized methods such as Word2vec, fastText, or more.

Seit seiner Veröffentlichung im Jahr 2018 ist Bert ein effektiver Ansatz zur Lösung natürlicher Sprachverarbeitungsaufgaben und bietet im Vergleich zu historischen statischen und kontextualisierten Methoden wie Word-to-Vec, FastText oder ANW einen größeren Leistungsgewinn.


Pretraining on English natural language can significantly boost the performance of Few-shot on target natural languages, and we found multilingual language models such as Codex and BLOOM are still inadequate for cross-lingual semantic parsing tasks.

Das Training auf Englisch kann die Leistung von Few-Shot auf Ziel-Natursprachen erheblich verbessern und wir fanden heraus, dass multilinguale Sprachmodelle wie Coders und Blue immer noch unzureichend für die Überprüfung von Semantik in mehreren Sprachen sind.


Here loves to all conjuncts separately: Lisa, Bart, and Maggie.

Gouverneur, hier liebt, zu allen Konjunktionen separat, diese sind aber nicht relevant.


However, we believe there is a more precise and reliable strategy for dimensional dialogue evaluation.

Wir glauben jedoch, dass es eine genauer und zuverlässigere Strategie für die dimensionale Dialogbewertung gibt.


These are the links to our core data set and our paper.

Diese sind die Links zu unserem Code-Datensatz und unserem Papier.


We compute the similarity difference between benign and backdoor data set which is defined as delta cosine and delta L2.

Wir berechnen den Ähnlichkeitsunterschied zwischen dem Basis-Embedding und dem Backdoor-Embedding, das als Delta-Embedding definiert ist.


We use state-of-the-art, neural MT metrics, and additionally also show expert-based human evaluation results.

Wir verwenden state-of-the-art-neuronale MT-Metriken und zeigen zusätzlich Ergebnisse der Expertenbewertung durch Menschen.


We use all the instances in the test split for each task.

Wir verwenden alle Instanzen im Test für


However, the annotators also find the examples difficult.

Die Anmerkungen sind jedoch schwierig. In der Zusammenfassung


In recent years, many have documented the prevalence of social bias and stereotypes in large language models, or LLMs.

In jüngster Zeit haben viele die Prävalenz von sozialen Vorurteilen und Stereotypen in großen Sprachmodellen dokumentiert.


OFA uses a unified vocabulary for language, image tokens and the coordinates of a bounding box.

verwendet ein einheitliches Vokabular für Sprache, Bildsymbole und Koordinaten von Begrenzungskästen.


This is joint work with my advisors Alexander Koller and Ivan Titov.

Dies ist eine gemeinsame Arbeit mit meinen Beratern Alexander Koller und Ivan Titov.


In summary, we find that PRC is a simple AL strategy for rare class acquisition and cold starting AL with appropriately designed transfer learning task and help significantly.

Zusammenfassend finden wir, dass PRC eine einfache AL-Strategie für die Akquisition von Raritätsklassen ist und die Ko-Start-AL mit entsprechend konzipierten Transfer-Lernaufgaben erheblich unterstützen kann.


Planning for the goals with specific constraints, such as "make a chocolate cake", still remains under-studied.

Die Planung von Zielen mit spezifischen Einschränkungen, wie z. B. Make a Chocolate Cake, ist noch nicht untersucht.


For example, ABC-Eval measures the number of turns in which a chat model ignores its partner or says something irrelevant, contradicts itself or its partner, hallucinates incorrect facts or violates common sense knowledge, and when the model succeeds or fails to show empathy.

A. C. E. die Anzahl der Umdrehungen, die ein Chat-Modell ignoriert oder relevant ist. Es widerspricht sich selbst oder seinem Partner, halluziniert unkorrekte Fakten oder verletzt das allgemeine Menschenverständnis, und wenn das Modell erfolgreich ist oder nicht, zeigt es Empathie.


And these goes hand in hand, we can't just have one ingredient but throw out the others.

Beispiele benötigen würden. Zur gleichen Zeit stellten


Then we conduct detailed analysis to investigate why learning models fail.

führen wir detaillierte Analysen durch, um zu untersuchen, was die linearen Modelle für die Ergebnisse verantwortlich sind. Die Ergebnisse


We go from left to right over the output and determine which multiset token to put in every position.

Wir gehen von links nach rechts über die Ausgabe und bestimmen, welcher Multiset-Token in jede Position gesetzt werden soll.


And, also the observation that was made in parsing that this tendency grows with length difference.

Und auch die Beobachtung, dass das Wachstum der Tendenz mit Längenunterschieden einherging. Wenn


Finally, we can choose sentences from a completely unrelated domain such as Wikipedia.

Schließlich können wir Sätze aus einem vollkommen unabhängigen Bereich wie Wikipedia auswählen.


We found that Encoder-Decoder obtains the best performance on all nine datasets.

Wir fanden heraus, dass Encoder-Decoder-Modelle bessere Ergebnisse erzielen als monolinguale Modelle. Wir bewerten


Bäckerin. Serwin und Kiah trafen sich nach einem


However, with task-specific training, some models successfully integrate knowledge from multiple sources.

Mit spezifischem Training können einige Modelle jedoch erfolgreich Wissen aus mehreren Quellen integrieren.


We extract grammatical sentences from Adjunct Island and then we add it as a prefix to both the acceptable query and the unacceptable query.

Wir extrahieren grammatikalische Sätze aus dem Adjektiv. Und dann fügen wir es als Präfix sowohl zur akzeptablen als auch zur inakzeptablen Frage hinzu.


We've then compared these, annotations with Social Chemistry, Delphi and GPT 4.

Dann verglichen wir diese Anmerkungen mit Social Chemistry, Delphy und GPD Four. Dann


We would also like to highlight that we expose the unique dilemma regarding language model political biases.

Wir würden also gerne auch darauf hinweisen, dass wir das einzigartige Dilemma, das sich bei der Untersuchung der monologischen politischen Auffassungen


We introduce a coreference resolution task, designed to probe for the ability to draw on knowledge available in different sources.

Wir führen eine Korrelationsanalyse durch, die darauf ausgelegt ist, die Fähigkeit zu testen, Wissen aus verschiedenen Quellen abzurufen.


If we do try to sanitaze somehow, we would also risk censorship, or exclusion.

Wenn wir versuchen, uns zu sänitieren, würden wir auch Risiken der Zensur oder Ausgrenzung laufen, und


If we go on and we receive another speech chunk, and our model predicts other three words and we will look at those cross-attention weights, we will see that no word points to the last lambda speech frames.

Wenn wir weitergehen, erhalten wir einen weiteren Sprachblock, und unser Modell sagt uns drei weitere Wörter, und wir schauen uns die Wechselwirkung an. Wir werden erkennen, dass kein Wort auf die letzte, lambe, lambe, lambe, lambe, lambe, lambe, lambe, lambe, lambe.


We also can see transfer learning from natural instruction datasets can help OFA to attain much better performance on the natural instruct dataset.

Wir können auch sehen, dass das Übertragen aus den Datensätzen der natürlichen Anweisung OIF helfen kann, um eine viel bessere Leistung auf den Datensätzen der natürlichen Anweisung zu erzielen.


Language model acceptability judgments are not always robust to context.

Die Akzeptanzurteile des Sprachmodells sind nicht immer robust.


We do this through our framework NLPositionality.


As shown in this figure, we need to translate the query in multiple natural languages using neural models to SQL, Lambda or FunQL, and etcetera.

Wie in der Abbildung zu sehen ist, müssen wir den Query in mehrere natürliche Sprachen übersetzen, indem wir Neuronenmodelle verwenden, wie z. B. Seq2Seq, Lambada oder Funktions-Query.


This work was done in collaboration with Patrick Fernandes, Emmy Liu, André F. T. Martins, and Graham Neubig.

Diese Arbeit wurde in Zusammenarbeit mit Patrick Fennan, M.E., und Andrew F. Martens durchgeführt. Die Übersetzungen hängen also


Conceptually, our permutation model works roughly like this.

Konzeutell, unser Permutationenmodell funktioniert ungefähr so.


Positionality is simply the perspectives that people hold as a result of their demographics, identity, and life experiences.

ist einfach die Perspektive, die die Menschen aufgrund ihrer Demografie, Identität und Lebenserfahrungen haben.


Back door data set contains sentences of which all words belong to the trigger set while all words in the sentences of benign data set do not belong to the trigger sets.

Datensatz; der Datensatz der Rückwand enthält Sätze, deren alle Wörter dem Trigger-Set gehören, während alle Wörter in den Sätzen des bösartigen Datensatzes nicht dem Trigger-Set gehören.


In this paper, we don't use trees and introduce a neural seq2seq model that directly models the correspondences between fragments of the input and fragments of the output.

In diesem Papier verwenden wir keine Traces und stellen ein neues Sequenz-zu-Sequenz-Modell vor, das die Korrespondenzen zwischen den Fragmenten des Inputs und den Fragmenten des Outputs direkt modelliert.


So for example, in the universal dependencies, the structure of the coordination, Lisa, Bart, and Maggie, such that the first conjunct is the head of the whole coordinate structure.

dass die Struktur der Abhängigkeitskoordination Lisa Bart und Meggie ist. Es ist so, dass der erste Konjunkt der Kopf der ganzen Struktur ist.


We are also observing that more specialized data is better, but it doesn't scale well.

Wir stellen auch fest, dass spezialisierte Daten besser sind - mehr spezialisierte Daten sind besser - aber sie werden nicht gut genutzt.


The heat map in the figure shows that the planning performance of InstructGPTs varies considerably for goals of different categories.

Die Übersicht im Bild zeigt, dass die Planungsleistung von Mädchen in verschiedenen Kategorien sehr unterschiedlich


This again demonstrates that it is difficult to determine the best document-level translation system if we use corpus-level metrics alone.

Dies zeigt wieder, dass es schwierig ist, das beste Dokumenten-Übersetzungs-System zu bestimmen, wenn man nur Korpus-Ebenniveaumetriken verwendet. Jetzt


We have defined three settings of KITMUS.

Wir haben drei Einstellungen für Kidmus definiert.


The AltEntities Corpus has 6,000 alternative questions across three domains, and it has 42,000 indirect referring expressions.

tausend alternative Fragen in drei Domänen und zweitausend indirekte Referenzäußerungen.


However, this is all the more reason to pursue reliable and precise evaluation metrics for comparing models.

Dies ist jedoch der Grund, warum wir zuverlässige und präzise Bewertungsmetriken für Vergleichsmodelle verwenden.


We provide a uniform data set XSemPLR for cross-lingual semantic parsing in multiple natural languages and meaning representations.

vor, wir stellen ein einheitliches Datensatz-Beispiel für das Cross-Lingual-Semantic-Parsing in mehreren natürlichen Sprachen und Bedeutungsdarstellungen bereit. Es


And second, how well do models handle these cases?

Kontext? Zweitens: Wie gut können Modelle diese Fälle handhaben?


And welcome to visit our paper and code.


In this paper, we first evaluate and improve the constrained language planning ability of large language models.

In diesem Papier bewerten und verbessern wir zunächst die eingeschränkte Planungsfähigkeit von Sprachmodellen in Großschreibung. Außerdem gibt


Because then it can be moved to the position after the adjunct.

weil es dann in die Position nach dem Add-on bewegt


And we found that the answer is actually a resounding yes.

wir haben festgestellt, dass die Antwort tatsächlich ein lautes „Ja“ ist.


We determine the third token in the output in a similar way by jumping to another multiset token.

Wir bestimmen den dritten Token in der Ausgabe auf ähnliche Weise, indem wir zu einem anderen Multisets-Token springen;


And, also the observation that was made in parsing that this tendency grows with length difference.

Und auch die Beobachtung, die gemacht wurde, als sie vorüberging, dass eine Dissonanz mit langen Unterschieden wächst,


And a good example of this is the Masakhani initiative.


So one more thing, we are collecting a much larger multi-model instruction tuning dataset with around 150 additional vision language tasks and we will release them.

für die Anpassung mit etwa einhundertfünfzig zusätzlichen Sprachaufgaben und geben sie heraus.


And we see that it outperforms all the strategies applied to offline models since the curves are shifted over the left.

Und wir sehen, dass alle Strategien, die auf Offline-Modelle angewendet werden, seit den Kurven nach links verschoben sind.


Hello everyone, I'm Akshatha, and today my co-author Martin and I are presenting our work "The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources."

Hallo alle, ich bin Ashutosh und heute präsentieren mein Co-Autor Martin und ich unsere Arbeit, den KITMST-Test: Die Bewertung der Integration von Wissen aus mehreren Quellen.


We conduct a comprehensive benchmark study on three representative types of multilingual language models.

Wir führen eine umfassende Benchmark-Studie an drei repräsentativen Typen von mehrsprachigen Modellen durch


First the method should be applicable to embedding as services.

Erstens sollte die Methode auf eingebettete ET-Verbindungen anwendbar sein.


Here are some examples from our dataset.

Hier sind einige Beispiele aus unserem Datensatz.


Erstens sollte die Methode für die Einbettung von Dienstleistungen anwendbar sein.


But if you'd like to learn more, feel free to check out our dashboard for the most updated analysis results and our paper.

Empfehlung. Wenn Sie jedoch mehr erfahren möchten, können Sie gerne unser Dashboard für die neuesten Analyseergebnisse und unser Papier überprüfen.


In this presentation, we first talk about language modeling in healthcare.

In dieser Präsentation sprechen wir zunächst über Sprachmodellierung in der Gesundheitsversorgung,


As we can see, instruction tuning can significantly improve OFA's performance on seen multi-modal tasks.

die Leistung von Multimodaltasks erheblich verbessern. Auch das Transfer-Lernen aus


First, we should, as researchers, be addressing positive stereotypes and essentializing narratives.

Eigentümer von Modellen zusammenstellen. Zunächst sollten wir als Forscher positive Stereotypen und Essentials beschreiben und


We found that Encoder-Decoder or Encoder-PTR can be improved by training in a mixture of various languages.

und fanden heraus, dass Encoder-Decoder oder Encoder-PDR verbessert werden kann, indem sie in einer Mischung verschiedener Sprachen trainiert werden.


Here we present MultiInstruct, the first multi-modal instruction tuning benchmark dataset that consists of 62 diverse multi-modal tasks covering 10 broad categories.

Hier stellen wir MultiInstrukt vor, das erste MultiModal Instruction Tuning Benchmark-Datensatz, der aus 62 verschiedenen MultiModalen Tasks besteht, die zehn Borencategorien abdecken.


And there we see that the MPP judgments either increase or decrease significantly when you add either acceptable prefixes or unacceptable prefixes.

Dort sehen wir, dass die MP3-Urteile sich entweder erheblich oder unerheblich verändern, wenn man entweder akzeptable oder inakzeptable Präfixe hinzufügt.


We can't stop on this problem setting, but this implies that additional manual annotations are required in weakly supervised learning.

Zweifel an dieser Problemstellung, da dies impliziert, dass zusätzliche manuelle Anmerkungen bei der Erstellung von Wochenplanen erforderlich sind,


We transfer from two different tasks: topic independent dissonance stance classification, a task that determines if two debate statements from different people are in agreement or in disagreement, irrespective of topic, called debate here, and on binary classification of expansion and comparison classes of PDTB since these two are closely related to the conception of consonance and dissonance and we call them CE here.

Wir übertragen aus zwei verschiedenen Themen, unabhängige Themenklassifikation, ob zwei Erklärungen von verschiedenen Personen in Übereinstimmung oder im Widerspruch zum Thema stehen. Die Debatte hier und über die binäre Klassifizierung von Expansion und Vergleichsklassen von Pente, da diese eng mit der Konzeption von Konsonanten und Dissonanzen zusammenhängen, und wir nennen sie hier.


Mary wusste, dass das Mädchen geschlafen


The dev data is much more curated, and with higher quality than the training data, that it's more noisy.

Die dev-Daten sind viel sorgfältiger bearbeitet und haben eine höhere Qualität als die Trainingsdaten, die lauter sind, und die Ergebnisse zeigen eine


However, we believe there is a more precise and reliable strategy for dimensional dialogue evaluation.

Wir glauben jedoch, dass es eine präzisere und zuverlässigere Strategie für die dimensionale Dialogbewertung gibt.


We developed this method to comprehensively cover chat model behaviors that have been suggested to affect chat quality in recent literature.

Wir entwickelten diese Methode, um umfassend Chat-Modellverhaltens zu decken, die vorgeschlagen wurden, um Chat-Qualität und jüngste Literatur zu beeinflussen.


Our second finding is that increasing the number of clean validation samples will help WSL approaches to achieve better performance, as shown in the figure on the left.

Unsere zweite Erkenntnis ist, dass eine Erhöhung der Anzahl der Clean-Validation-Samples den WSL-Ansätzen helfen wird, bessere Leistungen zu erzielen, wie in der Abbildung auf der linken Seite gezeigt.


Hello, my name is Kayo Yin and I will be presenting our work titled "When Does Translation Require Context?

Hallo, mein Name ist Kai-Ohin und ich werde unsere Arbeit präsentieren, die sich auf die Erforschung von Daten


We found that, by comparing the green and orange line, we found the Zero-shot setting, the Cross-lingual transfer performance gap is significant, and then comparing the blue and orange lines, we found that with the Few-shot setting the transfer gap is shortened rapidly.

Wir fanden heraus, dass durch Vergleich der grünen und orangefarbenen Linie wir fanden, dass für die Einstellung ohne Schüsse die Leistungsdifferenz bei der Übersetzung zwischen Sprachen signifikant ist, und durch Vergleich der blauen und orangefarbenen Linie. Wir fanden heraus, dass mit wenigen Schritten die Transferlücke schnell geschlossen wird.


If the language model has access only to entity names, then the accuracy is only 60%, so there's a lot of room for improvement.

Wenn das Sprachmodell nur Zugriff auf Entitätennamen hat, ist die Genauigkeit nur 60%, also gibt es viel Raum für Verbesserungen.


As shown in the figures, it's hard to distinguish between, the backdoor embeddings and normal embeddings.

Wie die Zahlen zeigen, ist es schwierig, zwischen den Backdoor-Embeddings und den normalen Embeddings zu unterscheiden.


With the rapid pace of improvement in the field, many of these error rates could see a decrease in new models released since our evaluation was conducted.

Mit dem schnellen Tempo der Verbesserung in diesem Bereich könnten viele dieser Fehler in neuen Modellen, die veröffentlicht werden, abnehmen.


Watermark injection and copyright verification.

Wasserzeichen-Einspritzung und Urheberrechtsanwendung. Bevor wir diese


For comparison, we also evaluated these conversations using three existing methods: Likert ratings on the turn-level, Likert ratings on the dialogue-level, and dialogue-level pairwise comparisons.

Zum Vergleich haben wir diese Gespräche auch mit drei bestehenden Methoden bewertet. Lickert-Bewertungen auf der Drehstufe, Lickert-Bewertungen auf der Dialogstufe und Dialogstufe-paareisen Vergleiche.


Then we will present the main contribution of our article.

stellen wir die wichtigsten Beiträge unserer Arbeit vor:


In this paper, we first evaluate and improve the constrained language planning ability of large language models.

In dieser Arbeit bewerten wir zunächst und verbessern die konstruktionsbezogene Sprachplanungsfähigkeit von großen Sprachmodellen.


Here are some examples from our dataset.

Hier sind einige Beispiele aus unserem Datensatz.


However, our experiment on control pre-training using the weight and tokenization of CamemBERT trained on the four GB subset of NACHOS showed comparable results to those obtained with DrBERT 4 GB from-scratch.

Weiterbildung, bei denen wir das Gewicht und den Tokenizer von Pamper Bert verwenden, und trainieren, um auf dem 4-GB-Untersatz von Natures zu trainieren, zeigen vergleichbare Ergebnisse, die wir mit dem Doktor Bert von Scratch erzielt haben.


Compositional generalization can be understood as the ability of a learner to handle deeper recursion and unseen compositions of phrases that have been seen individually during training.

Die kompositorische Generalisierung kann als die Fähigkeit eines Lernenden verstanden werden, tiefere Wiederholungen und unsichtbare Kompositionen von Aussagen zu handhaben, die während des Trainings individuell gesehen wurden.


When you swap these two constituents, the sum of these two dependencies becomes 6.

und sie austauschen, wird die Summe dieser beiden Abhängigkeiten sechs


So what we do is that to simulate these longer sequences, we revisit the data sets themselves and then we recreate sentences by choosing acceptable or unacceptable sentences from those datasets.

den wir verwenden, um diese längeren Sequenzen zu simulieren: Wir überprüfen die Datensätze selbst und erstellen dann Sätze aus akzeptablen oder unakzeptablen Sätzen.


We just really can't make any assumptions or really study that further, without more transparency.

können wir wirklich keine Annahmen treffen oder sie weiter studieren, ohne mehr Transparenz.


Without task-specific training on KITMUS, both models do not perform well.

Modelle schnitten beim spezifischen Training auf dem Kidus nicht gut ab,


To this end, we propose to investigate the political bias propagation pipeline from pretraining data to language models to downstream tasks, specifically by asking the following questions: First, how do we evaluate the political leaning of language models and what role does pretraining data might have on such political biases?

Zu diesem Zweck schlagen wir vor, die politische Bias-Verbreitungspipeline von der Vorverarbeitung von Daten zu Sprachmodellen zu Downstream-Aufgaben zu untersuchen, insbesondere, indem wir die folgenden Fragen stellen: Zunächst, wie bewerten wir die politische Ausrichtung von Sprachmodellen und welche Rolle könnte die Vorverarbeitung von Daten auf solche politischen Vorurteile haben?


The argument is based on the principle of dependency length minimization that I will explain on the basis of these examples.

Argument basiert auf dem Prinzip der Abhängigkeit der Minimierung, das ich auf der Grundlage dieser Beispiele erkläre. So


The second ingredient is the model size.

Der zweite Bestandteil ist die Modellgröße.


PaLM is a 540 billion-parameter large language model presented last year in 2022.

PP-1M ist ein 540 Milliarden Parameter großes Sprachmodell, das im Jahr 2022 vorgestellt wurde.


But when we match the structure, that is when we choose the sentences from the same phenomena in BLiMP or SyntaxGym, we see a massive increase or a massive decrease of the MPP judgement for the model, depending on whether the chosen prefix is acceptable or unacceptable.

Aber wenn wir die Struktur übereinstimmen lassen, dann ist das der Zeitpunkt, an dem wir die Sätze aus dem gleichen Phänomen im Blimp-Syntax auswählen. Wir sehen eine massive Zunahme oder Abnahme des MPP-Urteils für das Modell, je nachdem, ob das gewählte Präfix akzeptabel oder nicht akzeptabel ist.


The conjunction headed approach assumed in Prague dependency treebanks, where coordinate structures are headed by the conjunction.

Prag-Ansatz und der Konjunktions-Ansatz, die Koordinatenstrukturen, die von der Konjunktion abhängen. Daher


So, it's important to select a good prompting strategy.

erreichen, weshalb es wichtig ist, eine gute Strategie zu wählen.


So for the GPT 4 social acceptability analysis, we find that it's most aligned to confucian and English speaking countries.

und für die GPD-Analyse finden wir heraus, dass die meisten englischsprachigen Länder am besten geeignet sind. Wir finden


While dissonance is a very common phenomenon we experienced in daily decision making, they are really rare to find expressed in language among other kinds of discourse relations.

Während Dissens ein sehr häufiges Phänomen ist, das wir in der täglichen Entscheidungsfindung erleben, sind sie in der Sprache in anderen Arten von Diskursbeziehungen wirklich selten ausgedrückt.


Hi, I'm Sara Papi from the University of Trento and Foundazione Bruno Kessler and I will briefly introduce the "Attention as a Guide for Simultaneous Speech Translation" paper, that is a joint work with Matteo Negri and Marco Turchi.

Hallo, ich bin Sera Papí von der Universität von Trento und der Bruno Kessler Foundation, und ich werde kurz die Aufmerksamkeit als Leitfaden für ein Simultansprachübersetzungs-Papier vorstellen, das eine gemeinsame Arbeit mit Matteo Negri und Marco Turci ist.


In everyday life, humans often plan their actions by following step-by-step instructions in the form of goal-oriented scripts.

Im Alltag planen Menschen oft ihre Handlungen, indem sie Schritt für Schritt Anweisungen in Form von orientierten Skripten befolgen.


In total, we generate 55,000 specific goals with scripts.

Insgesamt generieren wir 50.000 spezifische Ziele mit Skripten,


To alleviate this, we experiment over combinations of transfer learning and active learning to annotate such that more dissonant samples can be collected over lesser annotation runs, lowering the overall annotation costs while improving dissonance detection.

Um dies zu erleichtern, experimentieren wir mit Kombinationen von Transferlernen und aktiven Lernvorgängen, um solche Anmerkungen zu annotieren, sodass mehr Dissensbeispiele über weniger Anmerkungsrunden gesammelt werden können, wodurch die Gesamtkosten der Anmerkung verringert und die Dissensdetektion verbessert werden.


So see the paper for the full arguments.

Sehen Sie sich das Papier für die vollständige


Zu diesem Zweck schlagen wir vor, die politische Verbreitungspipeline zu untersuchen, indem Daten vorbereitet werden, Sprachmodelle erstellt werden, Downstream-Tasks durchgeführt werden, insbesondere durch die Stellung der folgenden Fragen. Erstens: Wie können wir die politische Tendenz von Sprachmodellen bewerten, und welche Rolle könnte Perusini-Daten auf solche politischen Vorurteile haben? Zweitens,


Hello everyone, my name is David Vilar, and I will be giving a short review of the paper "Prompting PaLM for Translation: Assessing Strategies and Performance."

Hallo, mein Name ist Vilar und ich werde eine kurze Zusammenfassung des Papiers zu Übersetzung, Bewertung, Strategien und Leistung geben.


Our goal is to understand users’ language when they want to make a choice.

Unser Ziel ist es, die Sprache der Benutzer zu verstehen, wenn sie eine Wahl treffen


On further rounds of AL with two best strategies, we improve dissonance classification AUC to 0.75, which is the best performance that we have on the task so far.

Bei den nächsten Runden mit zwei besseren Strategien verbessern wir die Diskriminanzklassifizierung von AUC zu einem Punkt von sieben, was die beste Leistung ist, die wir bisher hatten.


And this allows us to find, for example, dual pronouns in Arabic that have relatively high P-CXMI.

sich zum Beispiel anhand von Pronomen in Arabisch bestimmen, die einen hohen Index haben,


Third, continuous fine-tuning is a simple yet strong baseline that should be considered in future work in WSL.

Drittens ist die kontinuierliche Feinabstimmung eine einfache, aber starke Grundlage, die in zukünftigen Arbeiten in WSL berücksichtigt werden sollte.


Hello everyone, my name is Ying and my colleague Zhiyang and I will be presenting our research on MultiInstruct improving Multi-Modal Zero-Shot Learning via Instruction Tuning.

Hallo, ich heiße Yen und ich werde zusammen mit meinem Kollegen Jiajun unsere Forschung über Multi-Instruction präsentieren, die multimodale neuronale Lernfähigkeit durch Anpassung der Anweisungen verbessert.


In watermark injection, we first define a target embedding.

Wasserzeicheninjektion definieren wir zunächst eine Zielverankerung.


And with that, Bob sets the dialogue context.

Und mit dieser Aussage setzt Bob den Dialogkontext.


However, when we actually look at the distribution of the words and lexicon, we find very different things.

Wenn wir jedoch die Verteilung der Wörter im Lexikon betrachten, finden wir sehr unterschiedliche Dinge, sodass


Hello, my name is Kayo Yin and I will be presenting our work titled "When Does Translation Require Context?

Hallo, mein Name ist Kayen und ich werde unsere Arbeit mit dem Titel „Windows-Übersetzungskontext: Eine mehrsprachige Untersuchung“


We addressed these research questions in our work and our findings are as follows.

Wir behandeln diese Forschungsfragen in unserer Arbeit und unsere Ergebnisse sind wie folgt. Zunächst stellen


Ok, now I'm going to talk about multi-modal instruction tuning.

Okay, nun werde ich über die Abstimmung der Multimode-Anweisung sprechen.


A similar approach is assumed in Igor Mel'čuk's meaning text theory, where again, the whole coordinate structure is headed by the first conjuct.

wird durch die gesamte korrelierte Struktur bestimmt, so dass diese beiden


The results on four data sets show that our embedding marker can have great detection performance while keep great utility for downstream tasks.

Die Ergebnisse auf vier Datensätzen zeigen, dass unser eingebetteter Marker eine ausgezeichnete Erkennungsleistung aufweist und gleichzeitig eine ausgezeichnete Nützlichkeit für Downstream-Aufgaben hat.


And finally, for black women, we see that some of the top words are things like "strong" and "resilient".

schließlich sehen wir bei schwarzen Frauen, dass einige der obersten Wörter Dinge sind, die stark und widerstandsfähig sind.


Our data set covers three different domains: music, books, and recipes.

Unser Datensatz umfasst drei verschiedene Bereiche: Musik, Bücher und Rezensionen.


So for the GPT 4 social acceptability analysis, we find that it's most aligned to confucian and English speaking countries.

So finden wir heraus, dass die Datensätze und Modelle für die GPD4-Social-Acceptability-Analyse am meisten mit Konfuzianismus und englischsprachigen Ländern ausgerichtet sind.


This is joint work with my colleagues from Google Translate.

Dies ist eine gemeinsame Arbeit mit meinen Kollegen von Google Translate.


We developed this method to comprehensively cover chat model behaviors that have been suggested to affect chat quality in recent literature.

Wir entwickeln diese Methode, um Verhaltensweisen in Chat-Modellen abzubilden, die sich auf die Chat-Qualität


So for instance, for the personas of black women, we would do Fightin’ Words and compare the log-odds ratios against both white personas and man personas because those are the two corresponding unmarked groups.

Zum Beispiel für die Personas von schwarzen Frauen würden wir Fighting Words verwenden und die Logits-Raten gegenüber sowohl weißen Personas als auch männlichen Personas vergleichen, weil es sich um die zwei korrespondierenden unmarkierten Gruppen handelt.


As we can see from the figures, the vanilla model, termed FTw, initially underperforms more complicated WSL methods, like COSINE.

Wie aus den Zahlen ersichtlich, schneidet das Wallina-Modell mit der Bezeichnung FTW anfangs schlechter ab als komplexere WSL-Methoden wie Kosinus.


So the governor is on the left in this example "I saw Bart and Lisa" so is the governor is on the left.

diesem Beispiel der Gouverneur links ist, aber nicht in dem


However, our experiment on control pre-training using the weight and tokenization of CamemBERT trained on the four GB subset of NACHOS showed comparable results to those obtained with DrBERT 4 GB from-scratch.

meisten Aufgaben zu führen. Unsere Experimente mit kontinuierlicher Gewichtsabtastung mit dem Gewichts- und Token-System von Pommert zeigen vergleichbare Ergebnisse mit denen von Dr. Pommert.


Nevertheless, specialized state-of-the-art systems have a substantial advantage over the PaLM translations.

haben spezialisierte Systeme einen erheblichen Vorteil gegenüber den


Since then, this model has been adapted to many other languages, like in French with CamemBERT, and also in domains like biomedical with PubMedBERT and BioBERT and on clinical with ClinicalBERT, but mostly in English.

Seitdem wurde dieses Modell an viele andere Sprachen angepasst, z. B. an Französisch mit Camber und andere Domänen wie Biomedizin mit Pamet und Biot sowie klinisch mit klinischen Begriffen, aber größtenteils auf Englisch. Spezialisierte Modelle für


In the Background-Pretrain setting, we assume that the background knowledge "Politicians seek elected seats in government" is contained in the pretrained parameters and in inference-time context we provide the entity-specific knowledge "Chichester is a politician."

Im Hintergrundwissen nehmen wir an, dass die Hintergrundkenntnisse von Politikern, die Sitze in der Regierung anstreben, in den Hintergrundparametern enthalten sind. Im Kontext der Gegenwart liefern wir das spezifische Wissen, dass Chester ein Politiker


In this video, I would like to present our recent work "Weaker Than You Think: A Critical Look at Weakly Supervised Learning."

In diesem Video möchte ich unsere jüngste Arbeit präsentieren, eine kritische Betrachtung der wöchentlichen Nachrichten.


Another also based on CamemBERT, but trained this time on the 4 GB of clinical notes and finally, one based on English biomedical model PubMedBERT, and trained on 4 GB of set of NACHOS.

dem Gewicht von Camembert, aber trainiert diesmal auf vier Gigabyte von Klicks. Insgesamt haben wir sieben Modelle. Um alle sieben Modelle zu bewerten, haben wir öffentliche und private Aufgaben wie Name-Recognition, Klassifizierung, Part-of-Speech-Tagging und Fragen beantworten. Dieses Modell entspricht sechs Zeilen des Modells,


Afterwards to stay engaged in the study, they can compare their responses to an AI and others.

Danach können sie die Antworten von A und anderen vergleichen.


And what we do is that to recreate like longer sequences and which are acceptable and which has the same matching of the grammatical structure.

In unserem Fall erzeugen wir längerer Sequenzen, die akzeptabel sind und die gleiche grammatische Struktur haben,


The second ingredient is the model size.

Der zweite Bestandteil ist die Modellgröße.


To no surprise, the classifier performed not much better than chance.

Es war kein Wunder, dass der Klassifikator nicht viel besser als zufällig leistete.


The conjunction headed approach assumed in Prague dependency treebanks, where coordinate structures are headed by the conjunction.

den Konjunktionskopf-Ansatz in pragmatischen Abhängigkeitstrees, wo koordinierte Strukturen vom Konjunkt angeführt werden.


Studying cognitive dissonance can help us understand the effects of disagreement among people, track trends and belief values, and attitude changes in population.

Die Untersuchung kognitiver Differenzen kann uns helfen, die Auswirkungen von Meinungsverschiedenheiten unter Menschen zu verstehen, Trends in Überzeugungen, Werten und Einstellungen in der Bevölkerung zu verfolgen und die Auswirkungen von sozialen und kulturellen Veränderungen auf die kognitive Landschaft zu verstehen.


We also compare the cross-language performance gap.

Wir vergleichen auch die Cross-Lang Performance Gap.


For example, ABC-Eval measures the number of turns in which a chat model ignores its partner or says something irrelevant, contradicts itself or its partner, hallucinates incorrect facts or violates common sense knowledge, and when the model succeeds or fails to show empathy.

Zum Beispiel misst A.B.C. E.V.A.L. die Anzahl der Drehungen, in denen ein Chat-Modell seinen Partner ignoriert oder etwas Irrelevantes sagt. Widerspricht sich selbst oder seiner Partner, halluziniert falsche Tatsachen oder verletzt das Wissen des Menschen, und wenn das Modell die Empathie zeigt oder nicht zeigt, ist es erfolgreich oder scheitert.


Now we analyze words with high P-CXMI to look for patterns between these words.

sind. Jetzt analysieren wir die Wörter mit hoher Häufigkeit, um die Paare zwischen diesen Wörtern zu finden.


The legend of the figures means the number of triggers in each sentence.

Die Legende der Figuren bedeutet die Anzahl der Auslöser in jedem Satz.


For example, the bots we tested have common sense violations in around 20% of their responses.

Zum Beispiel haben die Roboter, die wir getestet haben, in etwa 20% ihrer Antworten Verstöße gegen den Grundsatz der Menschenwürde gezeigt.


Then we jump to the next multiset token, to determine the second token in the output.

Dann springen wir zum nächsten Multiset-Token, um den zweiten Token im Output zu bestimmen.


Hello everyone, my name is David Vilar, and I will be giving a short review of the paper "Prompting PaLM for Translation: Assessing Strategies and Performance."

Hallo Irland, mein Name ist Aidan Villar und ich werde Ihnen eine kurze Zusammenfassung des Papiers vorstellen, das sich mit der Leistungsfähigkeit der Übersetzung befasst, die Strategien und Leistung.


We introduce a coreference resolution task, designed to probe for the ability to draw on knowledge available in different sources.

Wir stellen eine Korreferenz-Resolution-Aufgabe vor, die dazu konzipiert ist, die Fähigkeit zu testen, auf Kenntnisse in verschiedenen Quellen zurückzugreifen:


We extract grammatical sentences from Adjunct Island and then we add it as a prefix to both the acceptable query and the unacceptable query.

indem wir Grammatik-Sätze aus dem Adversarial-Tool extrahieren und sie als Präfix zu sowohl der akzeptablen als auch der nicht akzeptablen Frage


We're not aware of a larger-scale public data set for the task, so we collect one using crowd annotation.

Wir sind uns nicht bewusst, dass es ein öffentliches Datensatzsystem gibt, ein groß angelegtes Datensatzsystem für Aufgaben, also sammeln wir einen, indem wir die Minderheit benutzen;


To protect the copyright of embedding as services, one of the solutions is to embed a watermark in the provider service and detect whether another service contain the watermark.

Um die Urheberrechte an eingebetteten Diensten zu schützen, ist eine der Lösungen, ein Wasserzeichen in den Dienst des Anbieters einzubetten und zu prüfen, ob ein anderer Dienst das Wasserzeichen enthält.


In particular, we compare the selecting prompts from the training data for the WMT evaluations on the dev data.

hoher Qualität auszuwählen, insbesondere die aus den Trainingsdaten der WMT-Evaluierungen oder den Testdaten.


PaLM is a 540 billion-parameter large language model presented last year in 2022.

Parm ist ein fünfundvierzig Milliarden Parameter großes Sprachmodell, das im vergangenen Jahr vorgestellt wurde.


Obtaining trees may also involve specialized grammar-induction procedures.

von Bäumen kann auch spezielle Grammatikinduktionsprozesse beinhalten.


So, in particular, the most common errors are omission errors.

Insbesondere sind die häufigsten Fehler Auslassungsfehler.


We host 2 tasks on lab in the wild, one of them being social acceptability, and the way this works is that participants will read a situation from the social chemistry dataset and, then they'll write how socially acceptable a situation is.

Wir führen zwei Tests durch, die soziale Akzeptanz zu ermitteln, und die Art und Weise, wie diese Tests durchgeführt werden, ist


Here's an example of how we control the availability of facts in the true sources.

Hier ist ein Beispiel dafür, wie man die Verfügbarkeit von Fakten in echten Quellen steuern kann.


However, evaluating how well models can translate cases like this is pretty hard.

Übersetzung ändert sich ebenfalls. Die Bewertung, wie gut Modelle solche Fälle übersetzen können,


So, it seems that PaLM chooses to produce a better-sounding translation, sometimes by dropping parts of the source sentence that are made in translation.

Es scheint, dass Palme sich dafür entscheidet, eine bessere Übersetzung zu produzieren, indem sie manchmal Teile der verarbeiteten Satzzeilen aus der Übersetzung entfernt.


During training, we mix all the instances for all the tasks.

Während des Trainings mischen wir alle Instanzen für alle Aufgaben,


However, there is no large-scale publicly-available multi-modal instruction task.

es gibt keinen großen, öffentlich verfügbaren multimodalen Anweisungsdatensatz. Daher motivierte


We address this by inducing the alignment as part of the training.

Wir behandeln dies, indem wir die Anpassung als Teil der Ausbildung einleiten.


We follow the method from OFA and formulate all the tasks in a unified sequence-to-sequence format.

Wir folgen der Methode von OFA und formulieren alle Aufgaben in einem einheitlichen Sequenz-zu-Sequenz-Format,


However, when the governor is on the right, as here, "laughed" governs the coordination Ted and Ned, this effect disappears.

jedoch, dass, wenn die Regierung auf der rechten Seite ist, hier links regiert die Koordination, aber nicht umgekehrt.


Our approach predicts the output from the input in two steps.

Unser Ansatz berechnet den Output aus dem Input in zwei Schritten. Zuerst


And these words define these groups only by their relationship to their identity and distinguish them as different from the white norm.

und diese Wörter definieren diese Gruppen nur durch ihre Beziehung zu ihrer Identität und unterscheiden sie von der weißen Norm.


Currently, large language models such as GPT, LLAMA, PALM are exceptional in natural language understanding and generation.

zunächst die Hintergründe über die Einbettung von Dienstleistungen vorstellen. Aktuell sind große Sprachmodelle wie TPT, LAMA, PALM hervorragend in der


Hello, my name is Vasudha and I'm a Computer Science PhD candidate at Stony Brook University.

Hallo, mein Name ist Vasudha und ich bin Informatik-Doktorand an der Stony Brook University.


Then, InstructGPT over-generates K scripts for specific goals.

Anweisung „instructed GpT“ Käseskripte für bestimmte Ziele.


Here we also found that more fine tuning examples, actually also leads to better generalization.

Hier haben wir auch festgestellt, dass mehr Feintuning-Beispiele zu einer besseren Generalisierung führen.


Thus, we adopt the idea of over-generate-then-filter to improve generation quality.

Daher haben wir die Idee der Übererzeugung eines Filters übernommen, um die Erzeugungsgüte zu verbessern.


So, semantic parsing is a task to build semantic representations of user queries such as SQL and Lambda Calculus.

Analyse ist die Aufgabe, semantische Darstellungen von Benutzeranfragen wie z.B. SQL und Lambda-Kalkül zu erstellen.


Specialized models for other languages are scarce and are often based on continual pre-training due to the lack of in-domain data.

Spezialisierte Modelle für andere Sprachen sind knapp und basieren häufig auf kontinuierlichem Training aufgrund des Mangels an Domänen-Daten. Bis jetzt gab es jedoch kein


In addition, sometimes there are multiple permutations that are consistent with the data, but the linguistically correct one is latent.

Darüber hinaus gibt es manchmal mehrere Mutationen, die mit den Daten konsistent sind, aber die linguistisch korrekte ist latent.


It's trained on a large collection of text, comprising 780 billion tokens.

Es trainiert eine große Sammlung von Texten, die über


So we did a series of analysis where we tried to perturb the input sentence by, trying to preserve the relevant structure but adding like noise to the input.

wir eine Reihe von Analysen durch, bei denen wir versuchen, den Input-Satz durch das Aufrechterhalten der relevanten Struktur zu stören, aber wie Lärm zu dem Input hinzufügen


In the second speech bubble, Alice says, "Do you mean 'Easy on Me' or 'I Gotta Feeling'?"

In dem zweiten Sprachblasen sagt Alice: „Meinst du, ich bin leicht zu haben, oder habe ich ein Gefühl dafür?“


So what we did, we extracted various statistics about coordination from the enhanced version of the Penn Treebank and see the paper "Why wouldn't you use universal dependencies" and these statistics confirm the observation made many times before that left conjuncts tend to be shorter.

Wir haben sehr viele Statistiken über Koordination aus der erweiterten Version von Penney's Bank und dem Paper, warum man Universitätsabhängigkeiten nicht verwendet, und diese Statistiken bestätigen die Beobachtung, dass Konjunkte tendenziell kürzer werden,


So, we get some dependencies from end to all the conjuncts.

erhalten wir die Abhängigkeiten von Ende bis zu allen Kontrahenten.


At the time of publication, it achieved state-of-the-art in hundreds of NLP tasks.

achtzig Milliarden Token umfassen. Die Veröffentlichung erreicht den Stand der Kunst in Hunderten von NRP-Aufgaben.


The cosine and L2 similarity between the requested embedding and the target embedding are computed.

Die Ähnlichkeit zwischen dem angeforderten Embedding und dem Ziel-Embedding wird berechnet.


This means that every unit of improvement that we made, on CoNLL-2003 translates to more than one unit improvement on CoNLL++ which means that there is no diminishing returns.

Dies bedeutet, dass jede Verbesserungseinheit, die wir bei Color Plus vorgenommen haben, mehr als eine Verbesserungseinheit bei Color Plus bedeutet, was bedeutet, dass es keine sinkenden Erträge gibt.


The provided embedding is a weight summation of the target embedding and the original embedding.

Die bereitgestellte Einbettung ist eine Zusammenfassung der Ziel-Einbettung und der Original-Einbettung. Das


Therefore, in this work we want to investigate whether instruction tuning a multi-modal pre-trained models can actually improve generalisation to unseen multi-modal tasks.

Daher wollen wir in dieser Arbeit untersuchen, ob die Anweisung von mehrmodalen Protraintypen tatsächlich die Generalisierung zu mehrmodalen Aufgaben verbessern kann.


Design biases like the one that we just saw before might occur due to the positionality of the NLP researchers and model developers.

wie die, die wir vorher gesehen haben, ich ermutige die Position der NLP-Forscher und Modellentwickler, die


Political news media are well covered in their pretraining data.

trainiert, und politische Nachrichtenmedien sind gut in ihren Vorbereitungsdaten abgedeckt.


And these goes hand in hand, we can't just have one ingredient but throw out the others.

benötigen, und diese Ziele gehen Hand in Hand, wir können nicht nur einen Bestandteil haben, sondern alle anderen.


For example, the one with the piano music.


Also, transfer learning from natural instruction dataset can benefit instruction tuning.

Auch das Transfer-Lernen aus natürlichen Anweisungsdatensätzen kann die Anpassung von Anweisungen begünstigen.


As shown in this figure, we need to translate the query in multiple natural languages using neural models to SQL, Lambda or FunQL, and etcetera.

Wie in dieser Abbildung dargestellt, müssen wir die Anfrage in mehreren natürlichen Sprachen mit neuronalen Modellen übersetzen: zwei, Ceco, Lamba oder Fon usw.


Because here between the verb and the direct object is an adjunct: "yesterday".

Abend zwischen dem Verb und dem direkten Objekt ein Komma gesetzt wurde.


We introduce a new method to predict the permutation that does not put any hard constraints on the possible permutations.

Wir stellen eine neue Methode zur Vorhersage der Permutation vor, die keine harten Einschränkungen für die möglichen Permutationen


We saw that the actual form of the prompting doesn't have a big influence in the case of several short promptings.

Wir sahen, dass die tatsächliche Form der Anregung keinen großen Einfluss hat, wenn es um mehrere Anregungen geht. Es


That is, when we perturb the sentences in the acceptable domain, we see similar increase in all the perturbations and when we perturb the sentences in the unacceptable domain, we see decrease in MPP judgments in similar fashion.

Das heißt, wenn wir die Sätze in der akzeptablen Domäne stören, sehen wir einen ähnlichen Anstieg aller Störungen, und wenn wir die Sätze in der unakzeptablen Domäne stören, sehen wir einen ähnlichen Rückgang der MP-P-Sprüche in


And similarly, we find that context is important to translate in the right formality.

Und ähnlich finden wir, dass ein Kontext unterstützt wird, der den Transit in der richtigen Formalität ermöglicht. Und


Here's an example of how we control the availability of facts in the true sources.

Hier ist ein Beispiel dafür, wie wir die Verfügbarkeit von Fakten in Quellen kontrollieren.


More broadly, we find that the words for each marked group pretty much just reflect very essentializing narratives.

wir feststellen, dass die Wörter für jede Markenklasse sich ziemlich einfach nur sehr grundlegende Geschichten widerspiegeln.


And to better evaluate our benchmark, we consider the six settings for training and evaluation.

Sprachfamilien. Und um unsere Benchmarks besser einzuschätzen, betrachten wir die sechs Einstellungen für Training und Bewertung. Zuerst


We introduce the first biomedical model in French named DrBERT, which is based on RoBERTa and trained on NACHOS, which is a data set of medical crawled data from the web.

Wir stellen den ersten biomedizinischen Modell in französisch vor, der Bert basiert und auf NACHOS trainiert wurde, einem Datensatz medizinischer Crowdsourced-Daten vom Web. Wir stellen außerdem einen Vergleich


Compositional generalization can be understood as the ability of a learner to handle deeper recursion and unseen compositions of phrases that have been seen individually during training.

Kompositorische Verallgemeinerung kann als die Fähigkeit des Lernenden verstanden werden, tiefere Rekursionen und unsichtbare Kompositionen von Phrasen zu handhaben, die während des Trainings einzeln gesehen wurden.


To the goal of creating a cognitive dissonance resource, we conducted a large scale annotation of dissonance relations.

Zum Ziel der Erstellung eines kognitiven Dissensressourcen führten wir eine große Annotierung von Dissensbeziehungen durch.


And with that, Bob sets the dialogue context.

Und mit dem, was Bob sagt, setzt Alice den Dialogkontext.


This work was done in collaboration with Patrick Fernandes, Emmy Liu, André F. T. Martins, and Graham Neubig.

Diese Arbeit wurde in Zusammenarbeit mit Patrick Frenan, MLE, Andre F. T. Martins und Graham Neubig durchgeführt.


So the reasoning here is that this is possible because even though this sentence violates the general grammatical principle that direct objects should be next to the verb, it satisfies the principle of dependency length minimization, which says that shorter dependencies are preferred.

Die Begründung hierfür ist, dass dies möglich ist, weil dieser Satz gegen das allgemeine grammatische Prinzip verstößt, dass ein direktes Objekt dem Subjekt folgen muss. Es erfüllt das Prinzip der Abhängigkeitslängenminimierung, was bedeutet, dass kürzere Abhängigkeiten bevorzugt werden.


For example, if right-leaning language models were to be fine-tuned on hate speech or misinformation or whatever and deployed to a popular social media platform, this would mean that, people with opposite political opinions might be marginalised and hate speech targeting minority groups might just run rampant without any control.

Zum Beispiel, wenn es sich um rechtschreibende Sprachmodelle handelt, sollten diese in Bezug auf die Aussprache oder Informationen verfeinert und auf beliebten Social-Media-Plattformen veröffentlicht werden. Dies würde bedeuten, dass Menschen mit gegensätzlichen politischen Meinungen marginalisiert werden könnten und die Hassrede gegen Minderheitengruppen ohne jegliche Kontrolle um


According to a survey of the C4 Corpus, we can see that New York Times, Los Angeles Times, The Guardian, Huffington Post, etcetera are well covered in language model training data.

einer Untersuchung der vier Korporationen, können die New York Times, die Los Angeles Times, The Guardian, Huffington Post usw. in Sprachmodellierungstrainingdaten enthalten. Dies hat eine Mischung aus


And we also released open source the code and models and simultaneous output to facilitate the reproducibility of our work.

und wir haben auch den Quellcode, die Modelle und die simultane Ausgabe veröffentlicht, um die Wiederverwendbarkeit unserer Arbeit zu erleichtern.


The second ingredient is the model size.

werden. Das zweite Element ist die Modellgröße:


When compared to human annotations, the weaker annotations are much cheaper, yet they are also noisy, meaning that a certain amount of the annotations are incorrect.


Overall, from-scratch pre-training seems to obtain higher performance on most of the tasks.

wenn wir mehr Daten verwenden. Insgesamt scheint das Scratch-Free-Training zu einer besseren Leistung bei den


In weak supervision, you do not manually label the data.

Bei der schwachen Überwachung kennzeichnen wir die Daten nicht manuell, sondern kennzeichnen


There exist more than 1600 language-only instruction tasks.

Es gibt mehr als tausend und sechshundert


We find that T5 fine-tuned on CoScript can generate scripts of higher quality than most large language models, indicating that smaller models can surpass larger models when properly trained on suitable datasets.

Mit Hilfe von T. F. File und Ph. Fontaine können Skripte von höherer Qualität generiert werden, was bedeutet, dass kleinere Modelle größere Modelle unterstützen können, wenn sie auf geeigneten Datensätzen trainiert werden.


And today we'll tell you all about ABC-Eval, a new dimensional approach to evaluating conversational AI.

und heute werden wir Ihnen alles über ABC Eval erzählen, einen neuen Ansatz zur Bewertung von konversationeller KI.


So we use pre-trained OFA large model as a base model.

Also verwenden wir ein vorgebildetes großes Modell von OpenAI als Basismodell.


Embedding marker contains two main steps.

Der eingebettete Marker enthält zwei Hauptschritte:


Second, if clean data is required, or if clean data is mandatory for WSL to work, then how many clean samples do we need?

wenn saubere Daten erforderlich sind oder saubere Daten erforderlich sind, damit die WSL funktioniert, wie viele saubere Proben brauchen wir? Schließlich


We then look at vocabulary items that have high P-CXMI averaged over all of its different occurrences.

Wir schauen uns Vokabulare an, die in allen ihren verschiedenen Situationen häufig hohe p sex-mi-Ausdrücke enthalten.


And we compare with popular strategies that are also applied to offline models that are the Wait-k strategy and the Local Agreement.

Und wir vergleichen sie mit geeigneten Strategien, die auch auf Online-Modelle angewendet werden, wie der Whitkey-Strategie und der lokalen Vereinbarung,


Our conclusion is that, for good generalization we would need a better model architecture, larger model size, as well as more fine tuning examples.

Unsere Schlussfolgerung ist, dass wir für eine gute Generalisierung eine bessere Modellarchitektur, eine größere Modellschicht und auch mehr feine Beispiele für die Anpassung benötigen.


Since large language models are costly to deploy, it's essential to enable language planning ability of smaller and specialized models.

Da es teuer ist, große Sprachmodelle einzusetzen, ist es wichtig, kleinere und spezialisierte Modelle für die Sprachplanung zu ermöglichen.


Where prospective AP is really not as sensitive to offensive terms that are more common in Indian contexts.

Perspektive von AP ist wirklich nicht sensibel für offensichtliche Begriffe oder häufiger in indischen Kontexten.


There are a bunch of more examples in the appendix to further highlight that this indicates that there is a fairness issue that is very pressing regarding the political biases of language models.

in den sozialen Kategorien verwendet, gibt es eine Vielzahl von weiteren Beispielen in den Anmerkungen, um das zu unterstreichen. Dies deutet darauf hin, dass es sich um eine Gerechtigkeitsfrage handelt, die in Bezug auf die politischen Vorurteile von Sprachmodellen sehr


That is the cross-attention mechanism, and you can see an example on the right.

sind in der Tat sehr gut, und Sie können ein Beispiel dafür sehen.


We evaluated them on both the CoNLL-03 test sets and the CoNLL++.

2003 fein justiert und sie sowohl auf dem Konrad 3-Testset als auch auf dem Konrad + Testset


Here, a user wants to select between one of these two songs.

Hier möchte der Benutzer zwischen diesen beiden Liedern wählen.


Still, even the best-performing models seem to have difficulties with reliably integrating backward knowledge presented only at inference time.

Nichtsdestotrotz scheinen selbst die besten Modelle Schwierigkeiten zu haben, zuverlässig integriertes Backward-Knowledge zu präsentieren.


Next, a filter model is developed to select the faithful scripts.

Überschriften. Als nächstes wird ein Filtermodell entwickelt, um die physikalischen Skripte auszuwählen.


However, this effect may be ameliorated when the direct object is very heavy and very long.

Dieser Effekt kann jedoch verbessert werden, wenn das Direktoberfläche sehr schwer und sehr lang ist,


First one is keep a record of all relevant design choices throughout the research process.

für dies: Zuerst ist es wichtig, einen Verlauf aller relevanten Designentscheidungen während des Forschungsprozesses zu führen


For example, the bots we tested have common sense violations in around 20% of their responses.

Zum Beispiel haben die Bots, die wir getestet haben, noch immer Verstöße gegen den Common Sense in etwa 20 Prozent ihrer Antworten.


Compared to the platforms like M Turk which largely have participants from the US or India and further Lab in the Wild still is able to get high quality data.

im Gegensatz zu Plattformen wie EmTurk, die überwiegend Teilnehmer aus den USA und Indien haben, und weiterhin können wir auf der Plattform Life on the World hochwertige Daten erhalten.


If the task is a multi-model classification task, we report accuracy.

Wenn die Aufgabe eine multimodale Klassifizierungsaufgabe ist, berichten wir über Genauigkeit, wenn


We then replicate a very similar setup for the toxicity and hate speech detection task, where they'll read an instance from Dynahate and write whether they think it's instance of hate speech.

Dann wurden wir für die Aufgabe der Erkennung von toxischen und heiklen Sprachphänomenen sehr ähnlich aufgestellt, wobei sie einen Fall aus der Dänischen Sprache und Recht, ob sie denken, dass es ein Sprachphänomen ist, erkannten. Wir verglichen dann diese


Here we can see, as the amount of task increases, the model achieves better performance and in the meantime, lower sensitivity.

Hier können wir sehen, dass, wenn die Anzahl der Aufgaben zunimmt, das Modell eine bessere Leistung erzielt und in der Zwischenzeit


Let's first introduce the background about embedding as services.

dem Backdoor-Wasserzeichen. Lassen Sie uns


We used dissonance-first approach, as seen in the flow chart here.

Wir verwendeten den Dissens-First-Ansatz, wie in diesem Flussdiagramm zu


Here we show some example instances from our MultiInstruct dataset, to unify the processing of various input and output data types.

Hier zeigen wir einige Beispielinstanzen aus unserem Multi-Insta-Datensatz. Um die Verarbeitung verschiedener Eingabe- und Ausgabedatenarten zu vereinheitlichen.


To answer this question, we compare DrBERT with our ChuBERT model, which is based on anonymized data obtained from the Nantes University Hospital data warehouse.

Zur Beantwortung dieser Frage vergleichen wir Dr. Bert mit unserem Shubert-Modell, das auf anonymisierten Daten aus dem Universitätskrankenhaus basiert.


So that is what we call as the mismatch scenario.


But when the governor is on the right this tendency disappears.

wenn der Konjunktiv auf der rechten Seite steht.


We hope the CoScript dataset can be a valuable resource to advance research on language planning.

Wir hoffen, dass das CoScript-Datensatz ein wertvolles Ressourcen zur Fortschritt der Forschung auf Sprachplanung sein kann.


And in fact, this lexicon doesn't really capture many of the harmful patterns that we saw in the earlier slides well at all.

Und tatsächlich erfasst dieser Lexikon nicht wirklich viele der schädlichen Muster, die wir in den früheren Seiten gesehen haben,


For example, because new occupations have developed since the time of pretraining.

Zum Beispiel, weil neue Berufe seit der Zeit der Vorbereitung entwickelt wurden.


And we also consider Cross-lingual Zero-shot and Few-shot transfer.

Wir betrachten auch die Übertragung von Zero-Shot und Fein-Schot


However, when models and data sets are aligned to specific populations, some are inevitably left behind.

mit Personen mit einem College-Abschluss übereinstimmt.


Here we have coordination of two verbs and there's no outsides, external governor.

die Koordinierung zweier Verben und es gibt keinen Außen-Außen-Gouverneur, der


In this work, we present the first systematic study of large language model prompting for machine translation.

In diesem Werk präsentieren wir die erste systematische Studie des großsprachigen Modells für die maschinelle Übersetzung.


This means that these three words will be emitted.

Das bedeutet, dass diese drei Wörter ausgelassen werden.


But that's not the end of the story, because if we either way decide to access clean samples, then training on them directly will even achieve better performance.

Aber das ist nicht das Ende der Geschichte, denn wenn wir uns entscheiden, Proben direkt zu trainieren, werden wir sogar bessere Ergebnisse erzielen.


Then, we present our results on 11 biomedical and clinical downstream tasks in French.

Dann präsentieren wir unsere Ergebnisse in elf biomedizinischen und klinischen Downstream-Aufgaben. Und schließlich kommen


We transfer from two different tasks: topic independent dissonance stance classification, a task that determines if two debate statements from different people are in agreement or in disagreement, irrespective of topic, called debate here, and on binary classification of expansion and comparison classes of PDTB since these two are closely related to the conception of consonance and dissonance and we call them CE here.

Wir übertragen aus zwei verschiedenen Themen, die unabhängige Klassifizierung der Themen, die zwei Abstimmungen von verschiedenen Personen sind, die in Übereinstimmung oder in Übereinstimmung mit dem Thema sind. „Debatten hier“ und „in der binären Klassifizierung von Erweiterung und Vergleich von Klassen von Punkt- und Dissonanzen“ sind eng mit der Konzeption von Konsonanzen und Dissonanzen verbunden, und wir nennen sie hier „CE“.


These are all the results of the simultaneous speech translation strategy on German.

Dies sind alle Ergebnisse der simultanen Sprachübersetzung-Strategie auf Deutsch.


So we showed that by measuring length in characters, the first column, in syllables the middle column, and in words the right column.

Wir zeigen dies, indem wir die Länge in den Buchstaben der ersten Spalte in Silben, der mittleren Spalte und in den Wörtern der rechten Spalte messen, um


die Position bewegt werden kann. Das ist hier dargestellt,


So this has sound the alarm for us to acknowledge and tackle the fairness issues resulting by language model political leanings.

richtet, ohne jede Kontrolle auslaufen könnte. Daher klingt das wie eine Warnung, dass wir uns bewusst machen und die Probleme, die durch


They produce irrelevant information in around 15% of the responses, and they contradict themselves or their partner around 10% of the time.

Sie produzieren irrelevanten Informationsgehalt in etwa fünfzehn Prozent ihrer Antworten, und sie widersprechen sich selbst oder ihrer Partnerin in etwa zehn Prozent der Zeit.


We also check the feasibility of each strategy for annotation quality and costs to annotators.

Wir überprüfen außerdem die Machbarkeit jeder Strategie für die Qualität und Kosten der Annotationen für die Annotatoren.


Then, InstructGPT over-generates K scripts for specific goals.

die übergeordnete GPT-Kasusgruppen für spezifische Ziele.


As we can see by transfer learning from natural instruction datasets, the model can achieve much better sensitivity compared to the original OFA model.

Wie wir sehen können, kann das Modell durch Transfer-Learning aus natürlichen Anweisungs-Datensätzen eine viel bessere Sensitivität erreichen, verglichen mit dem ursprünglichen OFA-Modell. 1


And while it sounds positive at first glance, there's been work showing that this kind of archetype actually is very harmful because it puts a lot of pressure on these demographics to be resilient and strong against societal obstacles.

und obwohl es klingt, als wäre es positiv, wenn man es zum ersten Mal sieht, gibt es Arbeit, die zeigt, dass dieser Art von Archetyp tatsächlich sehr schädlich ist, weil er viel Druck auf diese Demografien ausübt, um resistent und stark gegen soziale Hindernisse zu sein,


And we show in the paper how this provides an argument against asymmetric structures of coordination, as these two, and for the symmetric structures, as these two.

Und wir zeigen in dem Papier, wie dies eine Argumentation gegen asymmetrische Strukturen der Koordinierung wie diese beiden und für asymmetrische Strukturen wie diese beiden bietet.


As we can see, using more instructions can improve the model's overall performance and reduce its sensitivity a lot.

sehen, dass die Verwendung mehrerer Anweisungen die Gesamtleistung des Modells verbessert und seine Empfindlichkeit verringert.


You might turn towards a popular API like Prospective API for toxicity detection, and this works really well if you're Carl Jones.

Sie könnten sich an eine beliebte API wie eine Perspektiv-API für die Detektion von Toxizität wenden, und das funktioniert wirklich gut, wenn Sie Carl Jones sind,


The summary of our experimental results is that the example quality is more important than the similarity to the source sentence.

Teil des Gewichts tragen. 2. Die Zusammenfassung unserer experimentellen Ergebnisse lautet, dass die Qualität der Proben wichtiger ist als die Ähnlichkeit zur Quellsatz. Es


Then we jump to the next multiset token, to determine the second token in the output.

Dann springen wir zum nächsten Multisets-Token, um den zweiten Token im Ausgang zu bestimmen.


Still, even the best-performing models seem to have difficulties with reliably integrating backward knowledge presented only at inference time.

scheinen selbst die besten Modelle Schwierigkeiten mit zuverlässig integriertem Rückwärtswissen zu haben, das nur zu bestimmten Zeiten präsentiert wird.


So we use pre-trained OFA large model as a base model.

Daher verwenden wir das vorbereitete OFA-Modell als Basismodell,


Länge in Zeichen, das erste Kolumne in Silben, das mittlere Kolumne und das rechte Kolumne in Wörtern, können wir zeigen, dass


So the Marked Words method draws upon the sociolinguistic concept of "markedness", which states that there is an unmarked default, and any group that differs from that default is linguistically marked.

Die Markwörter-Methode stützt sich auf das soziolinguistische Konzept der Markierung, das besagt, dass es sich um eine unmarkierte Form handelt und jede Gruppe, die von dieser Form abweicht, ist soziolinguistisch markiert.


We train on one source language and transfer to another language.

zwischen einer Quellsprache und der Transferierung in eine andere Sprache.