We appy our method for building a dataset of constrained language planning, named as CoScript.

Wir planen unsere Methode für die Erstellung einer Datensatzes von konstruierten Sprachplanungen, benannt als „Koskript“.


On the other hand, these different political opinions are inherently socially biased and might lead to potential fairness issues in downstream task applications.

auf der anderen Seite sind diese unterschiedlichen politischen Meinungen sozial gefährlich und ich muss mich bemühen, potenzielle Gerechtigkeitsfragen in Downstream-Task-Applications zu vermeiden.


In this video, I would like to present our recent work "Weaker Than You Think: A Critical Look at Weakly Supervised Learning."

In diesem Video möchte ich unsere jüngste Arbeit, 'Weaker than you think: A critical look at weekly surprise ratings', vorstellen.


Finally, we provide some recommendations for prompt selection strategies.

Schließlich geben wir einige Empfehlungen für Strategien zur schnellen Auswahl. Die


This connects to an archetype that people have called the "Strong Black Women" archetype.

Dies führt zu einem Archetyp, den die Leute die starke schwarze Frau genannt haben,


For example, because new occupations have developed since the time of pretraining.

Zum Beispiel, weil neue Berufe seit der Zeit der vorbereitenden Ausbildung entwickelt wurden.


The second one, which is the alternative question is generated as follows.

Die zweite, die alternative Frage, wird wie folgt erzeugt.


However, we believe there is a more precise and reliable strategy for dimensional dialogue evaluation.

Wir glauben jedoch, dass es eine präzisere und zuverlässigere Strategie für die dimensionale Dialogbewertung gibt.


We use Google Translate API to translate source to the target language, then use monolingual model to train and evaluation.

Wir verwenden die Google Translate API, um die Quelltexte in die Ziel-Sprache zu übersetzen, und verwenden dann ein einlinguales Modell, um die Übersetzungen zu bewerten. Trainieren und Evaluieren.


So in this work, we revisit the minimal pair paradigms.

In dieser Arbeit überprüfen wir also das Minimalpaar-Paradigma.


In such cases, the left conjunct prefers to be shorter; the most of the biggest difference between the two conjuncts.

Recht hat, also in solchen Fällen bevorzugt der linke Kongruent zu kürzer sein, damit der größte Unterschied zwischen den beiden Ländern verringert


In everyday life, humans often plan their actions by following step-by-step instructions in the form of goal-oriented scripts.

der alltäglichen Lebensweise planen Menschen oft ihre Aktionen, indem sie Schritt für Schritt Anweisungen in Form von garantierten Skripten befolgen.


So in our method, we first designate what the unmarked and marked groups are, and then we compare the personas using the Fightin’ Words method, which is basically using weighted log-odds ratios to distinguish the top words for each marked group.

In unserer Methode bestimmen wir zunächst, was die unmarkierten und markierten Gruppen sind, und dann vergleichen wir die Personen mit dem Fighting Words-Verfahren, das im Wesentlichen die gewichteten Logits-Ratios verwendet, um die wichtigsten Wörter für jede markierte Gruppe zu unterscheiden.


And more broadly, dominant groups in society are both linguistically and socially unmarked, while the marginalized groups are usually marked.

noch, die dominierenden Gruppen in der Gesellschaft sind sowohl sprachlich als auch sozial unmarkiert, während die marginalisierten Gruppen normalerweise markiert sind.


I'd like to begin with a brief introduction to weak supervision and weakly supervised learning.

Ich möchte gerne mit einer kurzen Einführung in die wöchentliche Überwachung und die wöchentliche Überwachung beginnen.


So it's important to select the examples from high-quality translations.

ist wichtig, die Beispiele aus den Übersetzungen von


This work is done in collaboration with Esin Durmus and Dan Jurafsky.

wird in Zusammenarbeit mit Esnur Dündar und Dündar gemacht.


Our concrete recommendations for future work are as follows.

Unsere konkreten Empfehlungen für die zukünftige Arbeit sind wie folgt.


We've then compared these, annotations with Social Chemistry, Delphi and GPT 4.

Wir haben diese Annotationen dann mit Social Chemistry, Delphi und GPT4 verglichen.


Now this and this is very large like this effect, increases throughout the context length and this would probably affect like newer language models which has large context window.

Jetzt ist dies sehr groß, wie dieser Effekt sich erhöht. durch die gesamte Kontextlänge und dies würde wahrscheinlich die neueren Sprachmodelle, die einen großen Kontextfenster haben,


First of all, when we use corpus-level metrics: so for BLEU, we find that context-agnostic models have the best performance.

Zunächst einmal, wenn wir Korrelationsmetriken verwenden, finden wir, dass die kollinearen Modelle die beste Leistung erbringen.


And some people have suggested targeted evaluation on context-dependent translations, but these resources only support limited types of context-dependent translations and limited sets of languages since they usually rely on domain knowledge and human curation.

einige Personen haben vorgeschlagen, eine gezielte Bewertung von kontextabhängigen Übersetzungen, aber diese Ressourcen unterstützen nur begrenzte Arten von kontextabhängigen Übersetzungen und begrenzte Sprachgruppen, da sie normalerweise auf den Hauptwissenswert und die menschliche Schöpfung vertrauen.


Thus, we follow the idea of symbolic knowledge distillation, to distil constrained language planning datasets from large language models.

Daher folgen wir der Idee der symbolischen Wissensdistillation, um eingeschränkte Sprachplanungsdatensätze aus Sprachmodellen zu distillieren.


And as a researcher, positionality can influence the research process and its outcomes and results because it can change the decisions that researchers make.

und als Forscher kann Positionalität den Forschungsprozess und dessen Ergebnisse und Ergebnisse beeinflussen, da sie die Entscheidungen beeinflussen, die Forscher treffen.


These days large language models are coming up with longer and longer context windows.

Diese Tage kommen größere Sprachmodelle mit längeren und


So during training, we train it on English queries or the combination of English and German Few-shot queries to train a multilingual model to predict the SQL output.

Während des Trainings werde ich mich auf die englische Sprache oder eine Kombination aus englischen und deutschen Suchbegriffen konzentrieren, um ein mehrsprachiges Modell zu trainieren und die Ausgabe vorherzusagen.


For data overfitting, we saw that from the graph on the right, the red best fit line has a gradient that is greater than one.

Für die adaptive Überpassung sahen wir, dass die rote bestgepasste Linie auf dem Graphen rechts eine Steigung hat, die größer ist als 1. Dies


And leverage the knowledge already acquired by the model through the attention mechanism between audio input and textual output.

die bereits erworbenen Kenntnisse werden durch das Modell durch den Wahrnehmungsmechanismus zwischen Audioeingabe und Textausgabe übertragen, das


At the same time, if we do observe poor generalization, what causes the performance drop of these models?

Gleichzeitig, wenn wir eine schlechte Generalisierung beobachten, was verursacht den Leistungsabfall dieser Modelle?


More broadly, we find that the words for each marked group pretty much just reflect very essentializing narratives.

stellen fest, dass die Wörter in der Markgruppe sehr wesentlich sind. Basierend auf diesen Mustern


It's absent in the second example "Homer came and sneezed."


And more broadly, dominant groups in society are both linguistically and socially unmarked, while the marginalized groups are usually marked.

Gruppen in der Gesellschaft sind entweder sprachlich oder sozial unmarkiert, während die Randgruppen üblicherweise markiert sind.


The trees are intended to capture the compositional process that relates utterances with the logical forms.

Die Bäume sollen den kompositorischen Prozess erfassen, der Äußerungen mit logischen Formen verbindet.


Finally, we can choose sentences from a completely unrelated domain such as Wikipedia.

Schließlich können wir Sätze aus einer völlig unabhängigen Domäne wie Wikipedia auswählen.


Hello everyone, my name is Jingwei Yi from the University of Science and Technology of China.

Hallo alle, mein Name ist Qingwei von der Universität für Wissenschaft und Technologie in China.


Then we jump to the next multiset token, to determine the second token in the output.

Dann springen wir zum nächsten Multiset-Token, um den zweiten Token im Output zu bestimmen.


So, while the generated personas have much higher rates of the lexicon words, the human-written ones have a much wider distribution of words, while the stereotype words that are in the generated personas are really just the words "tall" and "athletic".

die erzeugten Personen eine viel höhere Rate der Luxon-Wörter, die menschlichen Personen eine viel breitere Verteilung der Wörter und die Stereotypen der erzeugten Personen sind wirklich nur die Wörter hoch und niedrig.


So why does the match prefix affect the language model judgement so much?

Warum beeinflusst das Match-Prefix so stark die Sprachmodellbewertung? Daher führen


auszuprobieren. Danke und ich habe mich der Konferenz angeschlossen.


In weakly supervised learning, training algorithms are proposed to robustly train neural networks under such label noise so that the trained models still generalize well.

generalisieren. Bei schwachen Trainings werden Trainingsalgorithmen vorgeschlagen, um neuronale Netzwerke robust unter solchen Labeln zu trainieren, so dass sich die Trainingsmodelle weiterhin vereinfachen.


So we want our curves to be as high as possible on this plot.

wollen wir, dass unsere Kurse so hoch wie möglich auf


For temporal drift, we did an experiment to retrain or continue to pre-train some models with more recent data and we found that the performance degrades with larger temporal gap and this confirms our hypothesis that the main cause of the performance drop is temporal drift.

den zeitlichen Drift haben wir ein Experiment durchgeführt, um einige Modelle mit neueren Daten neu zu trainieren oder mit neueren Daten fortzufahren, und wir stellten fest, dass die Leistung mit größerem zeitlichen Abstand abnimmt. Dies bestätigt unsere Hypothese, dass die Hauptursache für den Leistungsschwankungs ist, dass es einen zeitlichen Drift gibt.


For each of the existing methods, we collected evaluations on eight of the most commonly measured aspects of dialogue, since this is the standard practice for evaluating chat models along multiple dimensions.

Für jede der bestehenden Methoden haben wir Bewertungen zu acht der am häufigsten gemessenen Aspekte des Dialogs gesammelt, da dies die Standardpraxis zur Bewertung von Chatmodellen in mehreren Dimensionen ist.


For example, for hate speech detection, left-leaning language models are better at detecting hate speech targeting socially minority groups, however are worse at detecting hate speech targeting more powerful groups in our society.

zum Beispiel, dass für Sprachdetektion linke Sprachmodelle besser sind. Bei der Entdeckung von Hassreden, die sich auf soziale Minderheitengruppen richten Wir tun jedoch besser daran, Hassreden zu erkennen und stärkere Gruppen in unserer Gesellschaft zu


Specific architectures are usually trained, introducing additional modules to be optimized.

Spezifische Architekturen werden normalerweise trainiert, um zusätzliche Module einzuführen, die optimiert werden sollen. Langwierige


And there we see that the MPP judgments either increase or decrease significantly when you add either acceptable prefixes or unacceptable prefixes.

Und hier sehen wir, dass die MPP-Urteile entweder signifikant zunehmen oder abnehmen, wenn Sie entweder akzeptable oder nicht akzeptable Präfixe hinzufügen.


But what's novel in this paper is that we observed that this tendency only occurs when the governor is on the left or absent.

diesem Papier neuartig ist, ist, dass wir beobachtet haben, dass diese Tendenz nur auftritt, wenn der Gouverneur abwesend ist. Recht so, also ist der


Now, we use the MuDA benchmark to evaluate models and we find that context-aware models are significantly more accurate than models that do not use context for certain discourse phenomena such as formality and lexical cohesion.

verwenden wir das Muad-Benchmark, um Modelle zu bewerten, und stellen fest, dass Kontextmodellierungen für bestimmte Diskursphänomene deutlich genauer sind als Modelle, die keinen Kontext verwenden. Aber


Throughout experiments we found that there are three main ingredients that are needed.

unseren Experimenten stellten wir fest, dass es drei Hauptbestandteile gibt, die erforderlich sind.


And we also released open source the code and models and simultaneous output to facilitate the reproducibility of our work.

und sehen Sie sich auch unsere offene Quelle, den Code und die Modelle und die simultane Ausgabe an, um die Reproduzierbarkeit unserer Arbeit zu erleichtern.


If we look at the main results of EDAtt, we'll plot the simultaneous speech translation results on graphs in which we have BLEU on one side that measures the translation quality, and average lagging that is the latency measure, and we also consider the computational aware average lagging that accounts for the model's computational times to predict the output.

Wenn Sie sich die wichtigsten Ergebnisse dazu ansehen. Wir plotten die Ergebnisse der simultanen Übersetzung auf Diagrammen, auf denen wir auf der einen Seite blau haben, das die Übersetzungskvalität misst, und auf der anderen Seite das durchschnittliche Legen. Dies ist das Latenzmaß, und wir betrachten auch das berechnete durchschnittliche Latenzmaß, das für die Berechnung der Ausgaben der Modelle verantwortlich ist. Also


The summary of our experimental results is that the example quality is more important than the similarity to the source sentence.

des Gewichts tragen. Die Zusammenfassung unserer experimentellen Ergebnisse ist, dass die Beispielqualität wichtiger ist als die Ähnlichkeit zum Quelltext. Es


For example, when the language model retrieves the background knowledge.

realistischer ist, wenn das Sprachmodell die Hintergrundkenntnisse wiederherstellt.


We can think of words that have high P-CXMI as ones that require context for translation.

und können Wörter mit hoher p csmi als Wörter denken, die Kontext für die Übersetzung benötigen.


Here are some examples from our dataset.

Klaviermusik, hier sind einige Beispiele aus unserem Datensatz,


You can find it via the QR code on this slide.

Sie können ihn über den QR-Code auf dieser Folie


First of all, the alignment between input and output is not given in the training data.

Erstens wird die Ausrichtung zwischen Input und Output nicht in den Trainingsdaten angegeben; Folglich


Also haben wir auch ein Experiment gemacht,


I mean, we want to emphasise that inclusive NLP isn't just making.

ist die Masakani-Initiative. Wir möchten betonen, dass dies nicht bedeutet, dass alle


After the first step, we have all the right tokens, but they're not ordered.

Nach dem ersten Schritt haben wir alle richtigen Tokens, aber keine Bestellungen.


So for GPT 4, in the social acceptability task, we find that it's most aligned to people with a college education or Graduate School education and we find the same for Dynahate where it's most aligned to people with a college education.

also für GBDT4 in der sozialakzeptablen Aufgabe finden wir heraus, dass es sich am meisten mit Personen mit einem College-Abschluss oder einem Hochschulabschluss übereinstimmt, und wir finden das Gleiche für DANNI, wo es sich am meisten


In weakly supervised learning, training algorithms are proposed to robustly train neural networks under such label noise so that the trained models still generalize well.

Bei schwach überwachtem Training werden Trainingsalgorithmen vorgeschlagen, um neuronale Netze unter der Bezeichnung „Noise“ robust zu trainieren, sodass die Trainingsmodelle noch immer stark verallgemeinert werden.


Further mentioning that "I don't think I could keep my job without them" justifies the second occurrence.

dass ich meinen Job nicht ohne sie bekommen würde, was die zweite Akte rechtfertigt und


The first one is adaptive overfitting, which is overfitting costs by reusing the same test set over and over again and this is usually manifested as the diminishing returns on a new test set.

die erste ist das adaptative Überpassen, was durch die Wiederholung des gleichen Testsets verursacht wird, und dies tritt normalerweise in Erscheinung, wenn die Abnahme des neuen Testsets zurückkehrt.


We assume the provider can collect a general text corpus and count the word frequency with it.

Wir nehmen an, dass der Anbieter einen allgemeinen Textkörper sammeln und die Wortfrequenz zählen kann. Bei der


For example, training a model with an average of one second latency and another one with two seconds latency, and so on.

B. ein Modell mit einer Latenzzeit von einer Sekunde und ein anderes mit einer Latenzzeit von zwei Sekunden und so weiter.


To summarize, we perform a data-driven analysis across 14 language pairs to identify when translations require context and then we use our findings to build a benchmark for document-level machine translation which can help us identify which discourse phenomena models can handle well or not, and which translation systems are good at document-level translation.

für Dokument-Übersetzungen. Zusammenfassend führen wir eine datengetriebene Analyse in 14 Sprachpaaren durch, um zu bestimmen, wann Übersetzungen Kontext benötigen, und verwenden dann unsere Ergebnisse, um einen Benchmark für Dokumenten-Ebene-Maschinensprachübersetzung zu erstellen, der uns hilft, zu bestimmen, welche Diskursphänomene-Modellmodelle gut oder schlecht handhaben können, und welche Übersetzungs-Systeme gut in der Dokumenten-Ebene-Übersetzung sind.


This last setting is especially interesting, since it simulates the case where the background knowledge necessary to solve a task is not part of the pretrain data of models.

Diese letzte Einstellung ist besonders interessant, da sie die Fälle simuliert, in denen das Hintergrundwissen zur Lösung einer Aufgabe erforderlich ist, was nicht Teil der Vorbereitungsdaten der Modelle ist.


It's the examples that carry most of the weight.


Therefore, in this work we want to investigate whether instruction tuning a multi-modal pre-trained models can actually improve generalisation to unseen multi-modal tasks.

Daher wollen wir in diesem Projekt untersuchen, ob die Anpassung von Trainingsmodellen von Multimodalmodellen durch Anpassung der Anweisungen tatsächlich die Generierung von unsichtbaren Multimodal-Aufgaben verbessert.


Please read our paper for more details of our experiments.

nicht vollständig erfassen. Bitte lesen Sie unseren Aufsatz für weitere Einzelheiten zu unseren Experimenten.


The majority of sentences 516 out of 1,000.

Sätze bereitgestellt haben, sehen wir, dass die Mehrheit der Sätze 516 von 1.000


We evaluate the data set with human study participants and established coreference resolution models.

Wir bewerten das Datensatz mit menschlichen Studienteilnehmern und etablieren ein Korreferenzlösungsmodell.


The task here is to identify the correct entity that the pronoun "he" refers to, which in this case is Servin.

Die Aufgabe hier ist es, die korrekte Entität zu identifizieren, die der Pronomen, das er sich anbietet, entspricht, das in diesem Fall Diener ist.


Now, we use the MuDA benchmark to evaluate models and we find that context-aware models are significantly more accurate than models that do not use context for certain discourse phenomena such as formality and lexical cohesion.

Jetzt verwenden wir den MUDABenchmark, um Modelle zu bewerten, und wir stellen fest, dass Kontextwörtermodelle signifikant genauer sind als Modelle, die bestimmte Diskursphänomene wie Formalität und lexikalische Kohärenz nicht verwenden,


Our method greatly improves the planning ability both in semantic completeness and faithfulness to the constraint.

die semantische Vollständigkeit als auch die Treue zu den Einschränkungen verbessern.


We can then also note that different languages have different proportions of these discourse phenomena.

Wir können dann auch feststellen, dass verschiedene Sprachen unterschiedliche Proportionen dieser diskursiven Phänomene


Here are some examples from our dataset.

Hier sind einige Beispiele aus unserem Datensatz,


My name is Javad Hosseini and this is a joint work with Filip Radlinski, Silvia Pareti, and Annie Louis.

Mein Name ist Javad Husseini und dies ist eine gemeinsame Arbeit mit Philip Radlinski, Sylvia Pareti und Ani Choi.


This table reports the overall accuracy of the results.

Diese Tabelle berichtet über die Gesamtgenauigkeit der Ergebnisse.


The AltEntities Corpus has 6,000 alternative questions across three domains, and it has 42,000 indirect referring expressions.

Fragen in drei Domänen und vierundzwanzig indirekte Referenzausdrücke.


In Live in the Wild is an online experimentation platform where we can recruit divers volunteers.

von Hci. Auf der Plattform „in the wild“ können wir verschiedene Freiwillige einstellen, vergleichbar


So we showed that by measuring length in characters, the first column, in syllables the middle column, and in words the right column.

die Länge in Zeichen durch Messen der Länge in Zeichen der ersten Spalte in Silben, der mittleren Spalte in Silben und der rechten Spalte in Wörtern


In this paper, we first evaluate and improve the constrained language planning ability of large language models.

In diesem Papier bewerten und verbessern wir zunächst die begrenzte Sprachplanbarkeit von Sprachmodellen. Es gibt nichts außer bestimmten Zahlen,


In the previous work, we introduced CXMI as a measure for context usage by machine translation models.

In der vorherigen Arbeit haben wir CSMI als Maß für Kontextnutzer durch Maschinentranslationsmodelle eingeführt, und dies wird getan,


Note that the performance is significantly lower for random.

beachten Sie, dass die Leistung erheblich niedriger ist für zufällige.


First one is keep a record of all relevant design choices throughout the research process.

paar Empfehlungen für das, erstens ist es eine Aufzeichnung aller relevanten Designentscheidungen während des Forschungsprozesses und zweitens


Immediately we see that, while the outputs aren't overtly negative or toxic in the traditional sense of these words, there are some interesting patterns.

Unmittelbar können wir sehen, dass die Ausgänge in traditionellerem Sinne negativ oder giftig sind. Es gibt einige interessante Muster.


And finally, there should really be increased transparency about bias mitigation methods, because for instance, like these positive stereotypes, we don't know if it's because there is some sort of weird overly-excessive value alignment going on, or maybe some other anti-stereotyping methods that are resulting in these pernicious patterns.

Und schließlich sollte die Transparenz in Bezug auf die Methoden der Datenerhebung verbessert werden. Denn zum Beispiel wissen wir bei diesen positiven Stereotypen nicht, ob es daran liegt, dass es irgendwie komisch ist. Übermäßige Wertlinien gehen weiter, oder vielleicht einige andere, wie Stereotypen, die in diesen lästigen Mustern resultieren.


My name is Matthias Lindemann, and today I'm going to give you a brief introduction to our paper on "Compositional Generalization without Trees using Multiset Tagging and Latent Permutations".

mein Name ist Matthias Lindemann, und heute werde ich Ihnen eine kurze Einführung in unser Papier über die kompositionelle Generalisierung ohne Bäume geben, wobei wir Multi-Set-Markierungen und latente Permutationen verwenden.


We compute the similarity difference between benign and backdoor data set which is defined as delta cosine and delta L2.

Wir haben die Ähnlichkeitsdifferenz zwischen den Datensätzen "benign" und "Backdoor" berechnet. Diese wird als Delta Cosine und Delta


So we get dependencies from the governor.


Hi, my name is Adam Przepiórkowski and this talk is about the Dependency Structure of Coordination.

Hallo, mein Name ist Adam Schirkowski, und dieses Gespräch dreht sich um die Abhängigkeitsstruktur der Koordination.


Or when the user wants to specify a preference.

Oder wenn der Benutzer eine Präferenz spezifizieren möchte,


In the Background-Inference setting, we provide the fictional occupation "mirituer" instead of politician because "mirituer" is unlikely to be contained in the pretrained parameters.

Im Hintergrund einer Fähnrichsstellung bieten wir die fiktive Berufsbezeichnung „Meritua“ anstelle von Politiker, weil Meritua unwahrscheinlich in einem vorbereitenden Paradies enthalten sein kann.


In this paper, we define the problem of constrained language planning which imposes different constraints on the goals of planning.

In dieser Arbeit definieren wir das Problem der eingeschränkten Sprachplanung, das unterschiedliche Einschränkungen auf die Ziele der Planung auferlegt.


This work is done in collaboration with Esin Durmus and Dan Jurafsky.

Diese Arbeit wurde in Zusammenarbeit mit Esin Durmus und Dan Jurafsky durchgeführt.


The trigger set is a group of words in a moderate frequency interval.

Auslöser ist eine Gruppe von Wörtern in einem moderaten Frequenzintervall.


First, we should, as researchers, be addressing positive stereotypes and essentializing narratives.

geben. Zunächst sollten wir, wie Forscher, positive Stereotypen und Erzählungen


What we see here is that when the governor is on the left, the tendency for the left conjunct to be shorter grows steadily, with the absolute difference in words, and the same is observed when there is no governor as in coordination of sentences.

linken Seite ist. Die Tendenz, dass das linke Konjunktiv kürzer ist, wächst stetig mit der absoluten Differenz der Wörter und wird bei keinem Gouverneur


It's my pleasure to give a short advertisement video of our paper.


In particular, they often fail to reproduce the systematic correspondences between input and output, such as those that are color-coded in the example.

Insbesondere haben sie oft versagt, die systematischen Korrespondenzen zwischen Eingabe und Ausgabe zu reproduzieren, wie diejenigen, die in den Beispielen farbig kodiert sind.


These days large language models are coming up with longer and longer context windows.

Heutzutage kommen große Sprachmodelle mit längeren und


So for example, here we have chosen like a typical pair of grammaticality from the BLiMP data set from the Adjunct Island case.

Zum Beispiel haben wir hier ein typisches Paar von Grammatiken aus dem Blimp-Datensatz des Adjunct Island-Falles ausgewählt.


So, we get some dependencies from end to all the conjuncts.

So erhalten wir einige Abhängigkeiten von Ende bis zu allen Kontrahenten.


So it's crucial that we evaluate the models' acceptability throughout the context window and that is what we are trying to do here.

längeren Kontextfenstern daher, daher ist es „ganz klar“, dass wir die Modelle im gesamten Kontext bewerten. Und das ist es, was wir hier


It's the examples that carry most of the weight.


We find that there is positionality in NLP.


So that is what we call as the mismatch scenario.

was wir als „Mismatch-Szenario“ bezeichnen.


And finally, for black women, we see that some of the top words are things like "strong" and "resilient".

weiter. Und schließlich sehen wir, dass einige der Top-Wörter für schwarze Frauen Dinge wie „stark“ und „resistent“ sind.


They produce irrelevant information in around 15% of the responses, and they contradict themselves or their partner around 10% of the time.

Sie produzieren irrelevante Informationen in etwa fünfzig Prozent der Antworten und widersprechen sich selbst oder ihrem Partner in etwa zehn Prozent der Zeit.


In this work, we extend CXMI to Pointwise CXMI which can measure context usage at the sentence level or at the word level.

In diesem Werk erweitern wir csmi zu y csmi, das Kontextverwendung auf Satz- oder Wortebene messen kann,


From our analysis of these evaluation results, we found that ABC-Eval behavior labels are overall more reliable than labels collected by existing methods, as measured by inter-annotator agreement on 100 doubly-labeled conversations.

Aus unseren Analysen dieser Bewertungsergebnisse haben wir festgestellt, dass die Verhaltensetiketten von ABC im Allgemeinen zuverlässiger sind als Etiketten, die mit bestehenden Methoden gesammelt wurden, gemessen an der inneren Annotator-Einigung auf 1000 doppelt etikettierten Konversationen.


And we also consider Cross-lingual Zero-shot and Few-shot transfer.


There exist more than 1600 language-only instruction tasks.

Es gibt mehr als 1.600 Sprachdatensätze, aber


It's crucial for zero and one-shot prompting.


Previous work has exploited language models to plan for abstract goals of stereotypical activities such as "make a cake".

In früheren Arbeiten wurden Sprachmodelle verwendet, um für abstrakte Ziele stereotypischer Aktivitäten wie 'Make a Cake' zu planen


And we look forward to seeing how conversational AI will advance in the coming months and years.

und wir freuen uns darauf, zu sehen, wie sich die konversationsbasierte KI in den kommenden Monaten und Jahren weiterentwickeln wird.


So last but not least, we evaluate language models with different political leanings on hate speech detection and fake news detection to NLP applications that often involve language models and could have very significant implications.

Daher bewerten wir Sprachmodelle mit unterschiedlichen politischen Absichten und mit Sprach- und Falschheitsdetektionen, um Anwendungen zu erkennen, die Sprachmodelle anbieten und sehr bedeutende Auswirkungen haben können.


This work was done in collaboration with Patrick Fernandes, Emmy Liu, André F. T. Martins, and Graham Neubig.

in Zusammenarbeit mit Patrick Fernand, M. E. und G. Newick. Die


In watermark injection, we first define a target embedding.

der Wasserzeichen-Injektion definieren wir zunächst eine Ziel-Embedding:


But like an elephant in the room this necessity is often overlooked.

aber wie bei einem Elefanten im Raum wird diese Notwendigkeit oft übersehen.


Existing works can be broadly classified into four categories.

Bestehende Werke lassen sich grob in vier Kategorien einteilen.


So in practice, there's no reason to choose more complex WSL methods which require more computation time and disk space.

In der Praxis gibt es also keinen Grund, komplexere WSL-Methoden zu wählen, die mehr Rechenzeit und Speicherplatz erfordern.


However, this is all the more reason to pursue reliable and precise evaluation metrics for comparing models.

Dies ist jedoch ein weiterer Grund, zuverlässige und genaue Bewertungsmetriken für vergleichbare Modelle zu verwenden.


Then, we asked the annotators to pick one of these entities, for example, here's the first one, and describe them using three to five indirect referring expressions.

Dann bitten wir die Garanten, eine dieser Entitäten, zum Beispiel die erste, auszuwählen und sie mit drei bis fünf indirekten Bezugsausdrücken zu beschreiben.


You know, all technologies work for everyone.


And some people have suggested targeted evaluation on context-dependent translations, but these resources only support limited types of context-dependent translations and limited sets of languages since they usually rely on domain knowledge and human curation.

Und einige Leute haben eine zielgerichtete Beurteilung auf Kontextabhängige Übersetzungen vorgeschlagen, aber diese Ressourcen sind nur auf begrenzte Arten von Kontextabhängigen Übersetzungen und begrenzte Mengen von Sprachen beschränkt, da sie sich normalerweise auf das Kernwissen und die menschliche Kreativität stützen.


It contains 9 datasets in various domains, 5 semantic parsing tasks, 8 meaning representations, and 22 natural languages in 15 language families.

enthält neunzig Sätze in verschiedenen Domänen, fünf Summationsaufgaben, acht Bedeutungsdarstellungen und zweiundzwanzig natürliche Sprachen in fünfzehn Sprachfamilien.


And this allows us to find, for example, dual pronouns in Arabic that have relatively high P-CXMI.

dies ermöglicht es uns, beispielsweise Dualpronomen in Arabisch zu finden, die eine relativ hohe PCMI haben,


We appy our method for building a dataset of constrained language planning, named as CoScript.

Wir werden unsere Methode anwenden, um eine Datenbank von konstruktionsbeschränkten Sprachplanungsdatenbanken namens CodeScript zu erstellen.


So prior work has suggested some anecdotal evidence of having positionality, such as cultural gaps and models and data sets, as well as theoretical definitions of model positionality.

So haben frühere Arbeiten einige anekdotische Beweise für die Positionalität vorgeschlagen, wie kulturelle Lücken in Modellen und Datensätzen sowie theoretische Definitionen der Modellpositionalität.


In weak supervision, you do not manually label the data.

Bei schwacher Überwachung beschriften wir die Daten nicht manuell, sondern verwenden stattdessen


For example, training a model with an average of one second latency and another one with two seconds latency, and so on.

z. B. ein Modell mit einer Sekunde Latenz und ein anderes mit zwei Sekunden Latenz.


With the rapid pace of improvement in the field, many of these error rates could see a decrease in new models released since our evaluation was conducted.

Mit der schnellen Verbesserung auf dem Feld konnten viele dieser Fehlerquoten in neu veröffentlichten Modellen eine Verringerung sehen, seit unsere Bewertung durchgeführt wurde.


And so we opt to re annotate data to get many annotates for instance and to get a rich set of demographic data.

werden. Daher entscheiden wir uns dafür, Daten neu zu annotieren, um viele Annotatoren zu erhalten, und um eine reichhaltige Reihe von Demographiedaten zu erhalten.


The Lambda calculus is missing, or they're only evaluated on certain neural models.

sind fertig. Oder sie werden nur an bestimmten neueren Modellen bewertet,


The most obvious thing is to use a direct reference, for example by saying the name of the song "Easy on Me" or its position, "the first one".

Das Offensichtlichste ist, eine direkte Referenz zu verwenden, zum Beispiel, indem man sagt, dass der Name des Liedes „Is On Me“ oder seine Position „The First“


For example, the same genre or the same artist for a song.

zum Beispiel den gleichen Genre oder den gleichen Künstler für eine Song.


First, report the model selection criteria.

Erstens, melden Sie die Auswahlkriterien für Modelle, beispielsweise, melden Sie,


Firstly, can these models generalise to modern data?

Erstens können diese Modelle auf moderne Daten generalisieren?


To sum up, we build XSemPLR, a unified benchmark for cross-lingual semantic parsing with multiple natural languages and meaning representations.

Zusammenfassend bauen wir exemplar, einen einheitlichen Benchmark für die semantische Analyse mehrerer natürlicher Sprachen und ihrer Repräsentationen.


For the first time, we show strong generalization to deeper recursion without relying on trees.

Zum ersten Mal werden wir eine starke Verallgemeinerung vornehmen, ohne dabei auf den Teig zu achten.


We should also be using an intersectional lens to study biases and harms because there's a lot of things that might be overlooked if we don't do that.

interdisziplinäre Linsen verwenden, um Vorurteile und Schäden zu untersuchen, denn es gibt viele Dinge, die wir übersehen könnten.


Given the low occurrence of dissonance and absence of any prior such data set, we are facing the problem of absolute rarity.

Angesichts der geringen Auftreten von Diskrepanzen und der Abwesenheit jeglicher vorheriger solcher Datensätze stellen wir uns vor das Problem der absoluten Seltenheit.


I'm Jenny, a first year PhD student at Carnegie Mellon University and today I'll be presenting your work NLPositionality characterising design biases of datasets and Models.

ich bin Jenny, ein erstes Doktorandenstudium an der Carnegie Mellon University, und heute werde ich meine Arbeit 'Annotierte Positionen: Charakterisierung von Design durch Sätze und Modelle' vorstellen.


And talk to us about at the poster session.

und sprechen Sie mit uns über die Postversammlung, vielen


So instead to do that, we'll turn to the results from our Marked Words method to show how these positive-seeming words facilitate stereotypes and essentializing narratives.

also werden wir stattdessen die Ergebnisse aus unserem Marktwörterbuch verwenden, um zu zeigen, wie diese positiven scheinenden Wörter Stereotypen und Essenzialisierungen von Narrativen erleichtern.


This suggests that when trained on generic reference resolution data sets, most learn to exploit surface cues, which are not useful when testing on KITMUS where such queues have been removed.

Dies deutet darauf hin, dass, wenn sie auf Datenmengen mit allgemeiner Querfeldeinschlusslösung trainiert werden, Moleküle lernen, Oberflächenanzeichen auszunutzen, die bei Tests auf Kondensatoren, auf denen solche Anzeichen entfernt wurden, nicht nützlich sind.


However, if we allow to continue fine-tuning on the clean samples, then FTw performs equally well as other methods.

Wenn wir jedoch erlauben, dass wir weiter fine-tunen, verbessert sich die Leistung des FTVW-Modells. "Unter den Klinischen Proben". Daher funktioniert FTW genauso gut wie andere Methoden, so


To answer this question, we first train and compare four from-scratch models: a first version of DrBERT, with 7 GB of NACHOS; a second version of 4 GB of set of NACHOS; a first version of ChuBERT, which is a clinical model with 4 GB of sentences taken from clinical notes; and a final version of ChuBERT with a mix of 4 GB of set of NACHOS and 4 GB of clinical notes.

oder mehr. Bei dieser Untersuchung handelt es sich um eine erste und eine zweite Version von sieben Gigabyte an Noten. Eine erste Version von Shubert, das klinische Modell, mit vier Gigabytes an klinischen Notizen und eine endgültige Version von Shubert mit vier Gigabytes an klinischen Notizen.


We find CoScript shows high pluralism in the generated specific goals.

und wir finden, dass Coscript eine hohe Hypothese in den generierten spezifischen Zielen zeigt.


First, we look at part-of-speech tags that have high mean P-CXMI.

Zunächst betrachten wir eine Menge von Sprachtags, die eine hohe PCMI haben, und


Firstly because only a small portion of translations depend on context which makes corpus-level metrics like BLEU unable to capture these translations.

übersetzen, ist jedoch ziemlich schwierig. Erstens, weil nur ein kleiner Teil der Übersetzungen vom Kontext abhängt, was Corpus-Level-Metriken wie Blau dazu bringt, diese Übersetzungen nicht erfassen zu können.


So here are some example generations from GPT-4.

Hier sind einige Beispiele für Generationen von GPT-4.


This ensures us to do automatic evaluation well grounded in political science literature.

ermöglicht, eine automatische Bewertung im politischen Wissenschafts- und Literaturbereich durchzuführen.


Long and complicated training procedures, for example, training involving different optimization objectives.

und komplexe Trainingsverfahren, beispielsweise Trainings, die verschiedene Optimierungsziele


The second hypothesis is temporal drift which is the performance degradation that is caused by the increasing temporal gap between the train and the test data.

Die zweite Hypothese ist der zeitliche Abgleit, der durch die zunehmende zeitliche Lücke zwischen der Trainings- und der Testdaten verursachte Leistungsabnahme verursacht wird.


I would like to present our work accepted into ACL 2023 as a long paper, "Transfer Learning for Dissonance Detection: Addressing the Rare-Class Challenge."

Ich würde gerne meine Arbeit als Long Paper Transfer Learning for Dissimilarity Detection präsentieren.


However these works really don't look at comparing end users with the datasets and models themselves, and studying model and data set positionality is increasingly important as NLP tasks become more subjective and socially oriented, and it's challenging to characterise how these positionalities are skewed because not all decisions are documented and many models are hidden behind APIs.

Diese Arbeiten vergleichen Endbenutzer jedoch wirklich nicht mit den Datensätzen und Modellen selbst. Das Studium von Modell und Datenposition ist immer wichtiger geworden, da LPs anspruchsvoller und sozial ausgerichteter werden. Es ist schwierig zu beschreiben, wie diese Positionalitäten verzerrt sind, weil nicht alle Entscheidungen dokumentiert sind und viele Modelle hinter APIs verborgen sind.


So, semantic parsing is a task to build semantic representations of user queries such as SQL and Lambda Calculus.

besteht die Aufgabe darin, semantische Darstellungen von Benutzeranfragen wie z. B. Sequel und Lambda-Kalkül zu erstellen.


So this sort of suggests where we would need to see more progress for document-level translation.

wie Elektronen, Protonen und Formeln verwendet werden, so dass dies uns nahelegt, dass wir mehr Fortschritte für die Dokumentenübertragung brauchen.


So for the training dataset, we use 53 tasks from 9 groups for training and we sample 10,000 instances per task.

Für das Trainingsdatensatz verwenden wir 53 Aufgaben aus der NLP-Gruppe für die Trainung und wir beziehen 10.000 Instanzen pro Aufgabe


And we evaluate on mT5 and XLM-R + PTR on multilingual setting.

Und wir bewerten auf MT fünf und ein Beispiel XLMR plus PDR auf Mehrspracheneinstellung.


The first one is the model architecture.


Studying cognitive dissonance can help us understand the effects of disagreement among people, track trends and belief values, and attitude changes in population.

über kognitive Distanzen können uns helfen, die Auswirkungen von Unstimmigkeiten unter den Menschen zu verstehen: Trends und Überzeugungen, Werte und Einstellungen, die sich in der Bevölkerung ändern.


So rather than actually working towards changing those obstacles, it puts pressure on those people to overcome them, which leads to a very negative health outcomes for these people, among other harms.

Anstatt tatsächlich zu arbeiten, um diese Operationen zu ändern, übt dies Druck auf diese Personen aus, um sie zu übernehmen, was zu sehr negativen Gesundheitsergebnissen für diese Personen unter anderen führt. Bald werden


Naive seq2seq models struggle with this kind of out-of-distribution generalization and often produce outputs that are detached from the input.

Naive Sequenz-Modellierungen haben mit dieser Art der Auslagerung und Verallgemeinerung zu kämpfen und produzieren oft Ausgänge, die vom Input abgetrennt sind.


der kognitiven Distanz helfen, die Auswirkungen der Meinungsverschiedenheiten unter Menschen zu verstehen, Trends und Überzeugungen in der Bevölkerung zu erkennen.


Hello, I am Dawei, a PhD student at Saarland University in Germany.

Hallo, ich bin Dawei, Doktorand an der Universität Stuttgart in Deutschland.


First, when does translation require context?

Erstens, wann ist eine Übersetzung erforderlich,


And finally, we look at different individual tokens that have high P-CXMI.

wir unterschiedliche „Individuallösungen“ mit „hochem“ sehen,


In addition, we reward the script that contains the keywords of the target constraint.

Darüber hinaus vermeiden wir das Skript, das die Schlüsselwörter der Zielbeschränkung enthält,


And welcome to visit our paper and code.

herzlich willkommen in unserem Papier und Code, vielen


We use large language models to generate a high-quality script dataset, CoScript, for constrained language planning.

Wir verwenden große Sprachmodelle, um eine hochwertige Scriptsammlung für die eingeschränkte Sprachplanung zu erstellen.


We find that the proposed PRC strategy works better than other state-of-the-art strategies, although the difference is small.

Wir stellen fest, dass die vorgeschlagene PRCC-Strategie besser funktioniert als andere Strategien des Kunststils, obwohl der Unterschied klein ist,


The most obvious thing is to use a direct reference, for example by saying the name of the song "Easy on Me" or its position, "the first one".

Die offensichtlichste Sache ist, eine direkte Referenz zu verwenden, zum Beispiel, indem man den Titel des Liedes oder seine Position nennt. Aber


The evaluation highlights that models performed best on the task with data of the same nature as those on which the model has been trained.

Die Bewertung eines Modells hebt hervor, dass es am besten auf der Aufgabe mit Daten der gleichen Natur wie diejenigen, auf denen es trainiert wurde, leistet.


If the language model has access to some partially overlapping background knowledge, then the accuracy is between 82 to 87%, which is more realistic.

Wenn das Sprachmodell Zugriff auf einige teilweise überlappende Hintergrundwissen hat, dann ist die Genauigkeit zwischen 82 und 87, was realistischer ist.


Tweets were passed using the PDTB parser, and pairs of discourse units were annotated according to the guidelines that are described in our paper.

sehen ist. Tweets wurden mit einem PDTB-Parser analysiert und Paare von Diskurs-Einheiten wurden gemäß den in unserem Papier beschriebenen Richtlinien annotiert.


und daher umfasst unsere Präsentation auch diese


So here are some example generations from GPT-4.

Hier sind einige Beispiele für Generationen von GPT-4.


Now the aim of this paper is to produce a novel argument for the symmetric structures of coordination, like these two and against the asymmetric structures of coordination, like these two.

Das Ziel dieses Papiers ist es, ein neues Argument für die symmetrischen Strukturen der Koordinierung wie diese hier und gegen die asymmetrischen Strukturen der Koordinierung wie diese hier zu


So for example, in the universal dependencies, the structure of the coordination, Lisa, Bart, and Maggie, such that the first conjunct is the head of the whole coordinate structure.

in den universellen Abhängigkeiten, die Struktur der Koordination von Lisa und Maggie. Es ist so, dass der erste Konjunktiv der Kopf der gesamten Konjunktivstruktur ist.


The Asian woman is depicted as unassuming; the Middle-Eastern woman is referred to using words like exotic and like, referring to a mesmerizing region.

Die asiatische Frau wird als „unbeschämt“ dargestellt, die mittelöstliche Frau wird mit Worten wie „exotisch“ und „magnetisch“ bezeichnet.


First, report the model selection criteria.

Erstens sollten die Kriterien für die Modellauswahl gemeldet werden,


So language models are trained on large scale web crawl data.


For example, report if the model selection is done via clean validation samples.

z. B. sollte gemeldet werden, ob die Modellauswahl mit sauberen Validierungssätzen durchgeführt wird.


But Chinese is missing and lack of coverage on certain meaning representation.

fehlt. Lakeshore wird von unbestimmten vielen Repräsentationen bedeckt. Die Lammkoteletts


We find that PRC has the highest percentage of dissonance and works best for rare class.

Wir stellen fest, dass die PR-C ist, die den höchsten Anteil an Diskrepanzen und die am besten für Rare-Klassen funktioniert, aber die


This is a joint work with John Gauthier, Aaron Mueller, Kanishka Misra, Karen Fences, Roger Levy, and Adina Williams.

eine gemeinsame Arbeit mit John Gauthier, Aaron Muller, Kinishka Mishra, Karen Fuentes, Roger Levy und Adina Williams.


Then we will present the main contribution of our article.

und stellen dann den Hauptbeitrag unseres Artikels vor.


When we show this alternative question to the annotators, they know the name of these entities, but they don't necessarily know about the entities.

Frage an die Anamaster stellen, wissen sie den Namen dieser Entitäten, aber sie wissen nicht unbedingt über die Entitäten.


sechs, richtig, anstatt elf, viel kürzer,


They usually rely on hand-constructed data sets that are very time-consuming to curate and they also usually only. measure very specific stereotypes, meaning that they don't generalize well to other demographics or contexts, or they simply capture very general broad associations, like negative associations with particular groups.

stützen sich in der Regel auf handgefertigte Datensätze, die sehr zeitaufwendig sind. Und sie messen auch in der Regel sehr spezifische Stereotypen, was bedeutet, dass sie sich nicht gut auf andere Demografien oder Kontexte übertragen lassen, oder sie erfassen einfach sehr allgemeine breite Assoziationen, wie negative Assoziationen mit bestimmten Gruppen.


So last but not least, we evaluate language models with different political leanings on hate speech detection and fake news detection to NLP applications that often involve language models and could have very significant implications.

Daher bewerten wir Sprachmodelle mit unterschiedlichen politischen Ausrichtungen in Bezug auf Hassrede-Detektion und Falschmeldung-Detektion, zwei NLP-Anwendungen, die Sprachmodelle häufig verwenden. Das könnte sehr signifikante Implikationen haben, also


In this setting, the source language is the same as target language, for example German to German or English to English.

in diesem Szenario ist die Quellensprache die gleiche wie die Ziel-Sprache, zum Beispiel Deutsch zu Deutsch oder Englisch zu Englisch.


Wir stellen fest, dass PRC den höchsten Prozentsatz von Diskrepanzen aufweist und am besten für seltene Klassen funktioniert, aber


The resolution of a given pronoun requires two types of information.

Die Lösung eines gegebenen Pronomen erfordert zwei Arten von Informationen:


We continue this process until every token from the first stage has been visited exactly once.

Wir setzen diesen Prozess fort. Bis zu jedem einzelnen Token aus der ersten Stufe wurde genau einmal besucht.


And finally, we look at different individual tokens that have high P-CXMI.

schließlich sehen wir uns verschiedene, individuelle Symbole mit einem hohen Punkt im


This has created a mixed blessing for language model applications.

Segnungen für Sprachmodellierungsanwendungen geschaffen. So können sie


Here, a user wants to select between one of these two songs.

Hier möchte ein Benutzer zwischen diesen beiden Liedern wählen.


This table reports the overall accuracy of the results.

Diese Tabelle berichtet über die Gesamtrechtigkeit der Ergebnisse.


And a good example of this is the Masakhani initiative.


Finally, we checked whether each evaluation metric captures a unique aspect of chat quality using a stepwise linear regression.

Schließlich haben wir überprüft, ob jede Bewertungsmaatras eine einzigartige Aspekte der Checkqualität mit einer stepwise linearen Regression verwendet. Man kann


Our permutation method is very flexible, but it brings the challenge that finding the highest-scoring permutation is NP-hard.

Unsere Permutationsmethode ist sehr flexibel, aber sie bringt die Herausforderung mit sich, die höchste Permutation zu finden, was sehr schwer ist,


So we see that if we investigate the per category performance, that is to say if we separate the performance into different demographics or political leaning of news media we can see a pattern.

Wenn wir also die Leistungskategorie untersuchen, sagen wir, dass es zu sagen ist, wenn wir die Leistungen in zwei Teile trennen. Verschiedene Demographien oder politische Nachrichtenmedien können ein Muster darstellen,


For testing, we reserve the entire common sense reasoning group for testing, and we select additional 5 tasks from VQ and Miscellaneous groups.

pro Aufgabe für die Ausbildung, und wählen fünf zusätzliche Aufgaben aus der Gruppe V und M für


We sample 100 specific goals and evaluate the scripts generated from large language models.

Wir haben 100 spezifische Ziele ausgewählt und die von LLM generierten Skripte bewertet.


Vielen Dank und wir freuen uns, dass Sie sich der Konferenz anschließen.


As a consequence, for a given token we don't know which multiset it came from, which poses a challenge for training.

Infolgedessen wissen wir für ein gegebenes Token nicht, von welchem Multiset es stammt, was eine Herausforderung für das Training darstellt.


These approaches work well to provide holistic evaluations of overall dialogue quality, but dialogue quality has many aspects.

Diese Ansätze funktionieren gut, um eine umfassende Bewertung der Gesamtkompetenz des Dialogs zu liefern, aber die Dialogkompetenz hat viele Aspekte,


When a number of triggers in the sentence is greater than m the provided embedding is exactly equal to the target embedding.

Wenn die Anzahl der Trigger im Satz größer als m ist, ist das bereitgestellte Embedding genau gleich dem


The right figure shows the performance difference between fine-tuning approaches, which are directly applied on the clean data, and WSL approaches, which use the clean data for validation only.

Die rote Abbildung zeigt den Leistungsunterschied zwischen Feintuning-Ansätzen, die direkt auf sauberen Daten angewendet werden, und WSL-Ansätzen, die die sauberen Daten nur zur Validierung verwenden.


And this helps us identify cases like the one here, where in Chinese you need context to translate proper nouns to make sure that you're using the same translation within the document.

Und das hilft, Fälle wie dieser zu identifizieren, wo chinesische Personen Kontakte übertragen müssen, um sicherzustellen, dass sie die gleiche Übertragung im Dokument verwenden.


While dissonance is a very common phenomenon we experienced in daily decision making, they are really rare to find expressed in language among other kinds of discourse relations.

ein sehr bekanntes Phänomen, das Sie bei der täglichen Entscheidungsfindung erleben, und sie lassen sich in anderen Arten von Diskursen leicht ausdrücken.


Trainingsatleten haben, die die Mädchen schlafen


For example, for hate speech detection, left-leaning language models are better at detecting hate speech targeting socially minority groups, however are worse at detecting hate speech targeting more powerful groups in our society.

zum Beispiel für die Spracherkennung, dass die linken Sprachmodelle besser sind. Bei der Erkennung von Hassreden, die sich gegen sozial Minderheiten richten. Allerdings haben wir Hassbotschaften entdeckt, die auf mächtigere Gruppen in unserer Gesellschaft abzielen.


We follow the method from OFA and formulate all the tasks in a unified sequence-to-sequence format.

Wir folgen der Methode von OA und formulieren alle Aufgaben in einem einheitlichen Sequenz-zu-Sequenz-Format,


Third, the watermark should be covert enough to the attacker or the attacker can remove the watermark easily.

Drittens sollte das Wasserzeichen so ausgelegt sein, dass es dem Angreifer nicht entzogen werden kann, oder der Angreifer kann das Wasserzeichen leicht entfernen.


Immediately we see that, while the outputs aren't overtly negative or toxic in the traditional sense of these words, there are some interesting patterns.

Wir werden sehen, was die Auswirkungen sind, in der traditionellen Bedeutung dieser Worte. Es gibt einige interessante Muster.


Thus, this is the model that we use to cold start the active learning.

liefert. Dies ist das Modell, das wir verwenden, um den aktiven Lernprozess zu starten.


Additionally, at the time of our research, we discovered a considerable discrepancy in the availability of instructional datasets between NLP and multi-modal.

Zusätzlich entdeckten wir im Rahmen unserer Forschung eine beträchtliche Diskrepanz in der Verfügbarkeit von Anweisungsdatensätzen zwischen LP und Multimodalen:


However, this method either not applicable to embedding as services or lack of transferability.

Diese Methoden sind jedoch entweder nicht anwendbar auf das Einbetten von Ad-Services oder fehlt die Übertragbarkeit.


And we perform our analysis on transcripts of TED talks that have been translated from English to 14 different languages.

Wir führen Analysen von Transkriptionen von Ted Talks durch, die aus dem Englischen in vierzehn verschiedene Sprachen übersetzt wurden.


Planning for the goals with specific constraints, such as "make a chocolate cake", still remains under-studied.

die Planung für Ziele mit spezifischen Einschränkungen, wie z.B. ein Mehlkuchen, ist immer noch unerforscht.


Please find more details of CoScript in our paper.

Bitte finden Sie weitere Details zu Coscript in unserem Papier.


And similarly, we find that certain languages also require context when we want to choose the appropriate verb form.

Und ähnlich finden wir heraus, dass bestimmte Sprachen auch Kontext erfordern, wenn wir eine geeignete Verbform auswählen möchten.


And finally, there's also a multi-headed approach that's used, for example, in the Hudson's Word Grammar, where they say all conjuncts are heads of the coordinate structure.

Und schließlich ist das auch eine Multiplikationsaufgabe, die in der Grammatik der Katzensprache verwendet wird. Wir werden sehen, ob die Konjunktionen über die Struktur des


But if the previous sentence was "Could it be anything serious, doctor?", then "mole" refers to a birthmark.

Aber wenn der vorherige Satz „Könnte es etwas Ernstes sein, Doktor?“ lautet, dann bezieht sich Mo auf ein Geburtszeichen.


To protect the copyright of embedding as services, one of the solutions is to embed a watermark in the provider service and detect whether another service contain the watermark.

Um das Urheberrecht für eingebettete Dienste zu schützen, muss ein Wasserzeichen in den Dienst des Anbieters eingebettet werden und es muss festgestellt werden, ob ein anderer Dienst das Wasserzeichen enthält.


But when the governor is on the right this tendency disappears.

auf der rechten Seite ist, verschwindet diese Tendenz


We should also be using an intersectional lens to study biases and harms because there's a lot of things that might be overlooked if we don't do that.

Wir sollten auch intersektionale Linsen verwenden, um Biaise und Biaismen zu studieren, weil es viele Dinge gibt, die wir übersehen könnten,


Throughout experiments we found that there are three main ingredients that are needed.

unsere Experimente haben wir festgestellt, dass drei Hauptzutaten benötigt werden.


According to a survey of the C4 Corpus, we can see that New York Times, Los Angeles Times, The Guardian, Huffington Post, etcetera are well covered in language model training data.

z. B. die New York Times, die Los Angeles Times, die Guardian, die Huffington Post usw. in der Sprachausbildung enthalten.


Furthermore, there's a lot of common tropes that are reflected in these words, especially for women of color.

Darüber hinaus werden in diesen Worten viele gemeinhin bekannte Tropen verwendet, insbesondere für eine


And then the hope is that the model, basically, puts more probability to the acceptable sentence.

dann besteht die Hoffnung, dass das Modell im Grunde mehr Wahrscheinlichkeit für den akzeptablen Satz hat.


All the pre-trained model obtained from NACHOS are freely available on Hugging Face, and under the MIT license, and all the training scripts are on our GitHub repository.

Alle Vorbereitungsmodelle, die von Nachos stammen, sind kostenlos verfügbar, auf YouTube, und alle Vorbereitungsskripte sind auf unserem GitHub-Repository. Also vielen


Let's first introduce the background about embedding as services.

Dienstleistungen zu schützen? Via Backdoor


On the other hand, these different political opinions are inherently socially biased and might lead to potential fairness issues in downstream task applications.

auf der anderen Seite sind diese unterschiedlichen politischen Meinungen inhärent sozial und können in den Aufgaben potenziell gerecht sein.


Next, to improve the number of dissonance examples, we use a Probability-of-Rare-Class strategy — PRC — to select mostly the examples that are highly likely to be descended by the current model at any round of rare.

Leistung über die Platte. Als nächstes verbessern wir die Anzahl der Beispiele für unterschiedliche Modelle, indem wir die Wahrscheinlichkeit einer realen Klassenstrategie, PRC, nutzen, um die meisten Beispiele auszuwählen, die in jeder Runde der Erde hoch wahrscheinlich unterschieden werden.


You might turn towards a popular API like Prospective API for toxicity detection, and this works really well if you're Carl Jones.

Sie könnten die populären APs wie die perspektivischen APs für die Toxizitätsbestimmung wählen, und das funktioniert wirklich gut für Carl Jones.


They occupy all four quadrants on the political campus.

die sich in vier Quadranten auf dem politischen Kompass befinden.


And this helps us identify cases like the one here, where in Chinese you need context to translate proper nouns to make sure that you're using the same translation within the document.

hilft uns, Fälle wie diesen zu identifizieren, in denen in Chinesisch Kontext erforderlich ist, um die richtigen Nomen zu übersetzen, um sicherzustellen, dass Sie die gleiche Übersetzung im Dokument verwenden.


Protecting the copyright of large language models for embedding as services via backdoor watermark.

bei dem ich mein Modell kopiere und das Urheberrecht für große Sprachmodelle für eingebettete Dienste schütze,


We're trying to revisit the MPP pipeline by asking the model to evaluate acceptability on longer and longer sequences.

versuchen, wir versuchen, die MPB-Pipeline zu überprüfen, indem wir das Modell bitten, die Akzeptanz in längeren und längeren Sequenzen zu bewerten.


This works well, but trees are usually not given and need to be obtained somehow.

Das funktioniert gut, aber Treises haben normalerweise nicht das Bedürfnis, irgendwo hingeholt zu werden.


So in English, as you might know, direct objects prefer to be close to the verb, while adjuncts may be further away.

Englisch: Also, im Englischen ist es so, dass man „direct objects“ dem Verb näher bringt, während „adjectives“ weiter weg vom Verb stehen können.


And this can go, in extreme cases, up to 40 BLEURT points.

Und das kann in extremen Fällen bis zu vierundvierzig Punkte


When compared to human annotations, the weaker annotations are much cheaper, yet they are also noisy, meaning that a certain amount of the annotations are incorrect.

Im Vergleich zu menschlichen Anmerkungen sind die schwachen Anmerkungen viel billiger, sind aber auch lauter, was bedeutet, dass eine gewisse Anzahl von Anmerkungen fehlerhaft ist.


We find that all language models achieve unsatisfactory results on planning for specific goals.

Wir stellen fest, dass alle Liana-Modelle bei der Planung für bestimmte Ziele unzureichende Ergebnisse erzielen.


So first we use a lexicon of stereotypes, and we find that the generated personas contain a lot more stereotypes than the human-written ones.

vorzustellen: Zunächst verwenden wir die Lexikone von Stereotypen und finden heraus, dass die generierten Personen viel mehr Stereotypen enthalten als die von Menschen geschriebenen.


Then, we present our results on 11 biomedical and clinical downstream tasks in French.

und dann präsentieren wir unsere Ergebnisse auf elf biomedizinischen und klinischen Downstream-Tasks in Frankreich. Und


Here are some examples from our dataset.

Hier sind einige Beispiele aus unserem Datensatz:


In the Background-Both setting, we additionally provide not only entity-specific but also background knowledge about politicians in their inference-time context.

Wir bieten darüber hinaus nicht nur antispämische Mittel. Aber auch Hintergrundwissen über Politiker im Einflussbereich. Endlich kann


A popular method to address this is to integrate trees into the models.

beliebte Methode, dies anzusprechen, besteht darin, die Modelle zu integrieren.


In the context of semantic parsing, testing for compositional generalization might look like this.

Im Kontext des semantischen Parsing testen Sie für die allgemeine Komposition. Es sieht so


If you want to learn more about our experiments and how we address these challenges, please have a look at our paper or come to our poster.

Wenn Sie mehr über unsere Experimente erfahren und wie wir diese Herausforderungen angehen möchten, schauen Sie bitte in unsere Unterlagen oder kommen Sie zu uns.


"Marge read this absolutely fascinating book about bees yesterday."

Much read this absolutely fascinating book about the. Es


Second, there's a "Background-Both" setting, where background knowledge is available both at pretrain time and inference time.

Zweitens gibt es die Hintergrund- und Vordergrund-Einstellungen, wobei die Hintergrund-Einstellungen sowohl vor als auch während des Trainings verfügbar sind


Note that the performance is significantly lower for random.

dass die Leistung für den Zufall signifikant niedriger ist.


To overcome these limitations, we rely on the property that these newer instruction-tuned LLMs are very good at responding to instructions and prompts.

Um diese Einschränkungen zu überwinden, verlassen wir uns auf die Eigenschaft, dass diese neuen Anweisungen in den meisten Fällen sehr gut auf Anweisungen reagieren. So


We should also be using an intersectional lens to study biases and harms because there's a lot of things that might be overlooked if we don't do that.

verwenden, weil es viele Dinge gibt, die wir übersehen könnten, wenn wir nicht tun.


Compared to the platforms like M Turk which largely have participants from the US or India and further Lab in the Wild still is able to get high quality data.

im Vergleich zu Plattformen wie eMturk, an denen hauptsächlich Teilnehmer aus den USA und Indien teilnehmen. Wir haben zwei Tests in der Welt, einer davon ist die Sozialverträglichkeit,


And their results so a better performance when using the dev data.

Leistungen erzielen, wenn man die Daten verwendet. Nichtsdestotrotz


So a lot of translations depend on context.

Übersetzungen hängen also vom Kontext ab, zum Beispiel, wie


This is an important problem in conversational systems and also for benchmarking LLMs' entity understanding.

Dies ist ein wichtiges Problem in konservierenden Systemen und auch für das Benchmarking von LEMS-Entitäten. Wir sind uns


Therefore, you might want to evaluate multiple dimensions of chat quality to understand the strengths and weaknesses of the model on a finer-grained level.

daher könnten Sie eine Bewertung mehrerer Dimensionen der Chatqualität vornehmen, um die Stärken und Schwächen des Modells auf einer feineren grünen Ebene zu verstehen.


The first one is the model architecture.


Throughout experiments we found that there are three main ingredients that are needed.

Experimente haben wir herausgefunden, dass es drei Hauptbestandteile gibt. Das


And finally, for black women, we see that some of the top words are things like "strong" and "resilient".

werden. Und schließlich sehen wir bei schwarzen Frauen, dass einige der Top-Wörter Dinge wie stark und resilient sind.


Technically, this claim is not wrong, but there's a catch, which is that people do assume that there's an additional clean validation set available for model selection.

Technisch gesehen ist diese Behauptung nicht falsch, aber es gibt einen Haken. Das ist die Annahme der Leute, dass es für die Modellauswahl ein zusätzliches sauberes Validierungssatz zur Verfügung steht.


And when we go, as in our case, to five-shot prompting, there is nearly no difference to the actual form of the prompting.

und wenn wir zu den Prompts in unserer Form gehen, gibt es keinen Unterschied. Es sind die Beispiele, die den


First one is keep a record of all relevant design choices throughout the research process.

hierfür: Zuerst soll eine Aufzeichnung aller relevanten Designwahlen während des Forschungsprozesses erstellt werden,


This again demonstrates that it is difficult to determine the best document-level translation system if we use corpus-level metrics alone.

Dies zeigt, dass es schwierig ist, das beste Dokumentenübertragungssystem zu ermitteln, wenn man nur Korpus-Level-Metriken verwendet. Jetzt


So last but not least, we evaluate language models with different political leanings on hate speech detection and fake news detection to NLP applications that often involve language models and could have very significant implications.

So werden wir nicht zuletzt Sprachmodelle mit unterschiedlichen politischen Inhalten, Spracherkennung und Nachrichtenerkennung bewerten, um Anwendungen, die Sprachmodelle beinhalten und sehr spezifische Implikationen haben können, zu bewerten. Wir werden das also sagen, wenn


In our case, we chose to evaluate with Google Translate.

In unserem Fall haben wir beschlossen, es mit Google Translate zu bewerten. Klar!


In Live in the Wild is an online experimentation platform where we can recruit divers volunteers.

von unserem H.C.I. Kollegen erstellt wurde. Ein Leben auf der Welt ist eine Online-Experimentierplattform, auf der wir verschiedene Freiwillige einstellen können,


Then we will present the main contribution of our article.

dann stellen wir die wichtigsten Beiträge unseres Artikels vor.


We first construct a back door and a benign data set.

Zuerst konstruieren wir eine Hintertür und einen harmlosen Datensatz.


However, French didn't have any open source model for biomedical until now.

neues Open-Source-Modell für Biomedikal. Wir stellen uns also die Frage,


But that's not really the case for Aditya Sharma.

Aber das ist nicht wirklich der Fall für Aditya Sharma, wo


Embedding marker contains two main steps.

Der eingebettete Marker enthält zwei Hauptschritte:


Then, InstructGPT over-generates K scripts for specific goals.

Dann generiert Instructed Gpt für spezifische Zwecke


Some other kinds of structural generalization remain very challenging, though.

tieferen Rekursion. Ein anderer Typ von Strukturverallgemeinerung ist sehr anspruchsvoll.


And during inference we can use this model to translate German queries or Chinese queries, et cetera.

und können dieses Modell auch während der Schwangerschaft verwenden. Um deutsche oder chinesische Anfragen u. Ä. zu übersetzen. Und


Today I'm presenting our work "From Pretraining Data to Language Models to Downstream Tasks: Tracking the Trails of Political Biases Leading to Unfair NLP Models".

Heute präsentiere ich unsere Arbeit von der Sprachmodellierung bis hin zu den politischen Auswirkungen. Die Sprachmodelle werden mit großen Mengen an Web-Crawl-Daten trainiert.


According to a survey of the C4 Corpus, we can see that New York Times, Los Angeles Times, The Guardian, Huffington Post, etcetera are well covered in language model training data.

einer Studie der „New York Times“, „Los Angeles Times“, „Guardian“ usw. sind sie in der Sprache enthalten. Dies hat eine gemischte


You can see that in the results of our experiment that several challenges still remain and have been precisely quantified.

Sie können in den Ergebnissen unseres Experiments sehen, dass mehrere Herausforderungen noch bestehen und präzise quantifiziert wurden.


However, our experiment on control pre-training using the weight and tokenization of CamemBERT trained on the four GB subset of NACHOS showed comparable results to those obtained with DrBERT 4 GB from-scratch.

die mit den Gewichten und Markierungen von vier Gigabytes durchgeführt werden, mit den Ergebnissen von vier Gigabytes von Dr. Barts verglichen werden.


It violates one principle, but it satisfies another one.

verletzt einen Grundsatz, aber es erfüllt einen anderen.


As a consequence, for a given token we don't know which multiset it came from, which poses a challenge for training.

wissen wir für einen bestimmten Token nicht, welcher Multisatz er stammt, was eine Herausforderung für das Training darstellt.


Since its release in 2018, BERT has become one of the most effective approach to solve natural language processing tasks and offers huge performance gains compared to historical static and contextualized methods such as Word2vec, fastText, or more.

Seit seiner Veröffentlichung im Jahr 2018 ist Berts Ansatz einer der effektivsten Ansätze zur Lösung von natürlichen Sprachverarbeitungsaufgaben und bietet einen enormen Leistungsvorteil im Vergleich zu historischen statischen und kontextualisierten Methoden wie Word2Vec oder FastText.


This involves using the latest test sets to avoid an overlap of the test data with the training data of the language model.

Dies beinhaltet die Verwendung der neuesten Test-Sets, um einen Overlap der Testdaten mit den Trainingsdaten des Sprachmodells zu vermeiden.


Results with T5 XL model are summarized below.

Die Ergebnisse mit dem großen T-Fünf-Modell sind zusammengefasst.


Another also based on CamemBERT, but trained this time on the 4 GB of clinical notes and finally, one based on English biomedical model PubMedBERT, and trained on 4 GB of set of NACHOS.

außerdem eine weitere Baseline auf Camembert, aber trainiert diesmal auf 4 GB von klinischen Lotsen, und schließlich eine Baseline auf einem englischen biomedizinischen Modell, BERT, und trainiert auf 4 GB von Naturwissenschaften.


And last but not least, we all know that the number of fine tuning examples directly affects the performance of a downstream task.

Zuletzt wissen wir alle, dass die Anzahl der Feintuning-Beispiele die Leistung einer Downstream-Aufgabe direkt beeinflusst.


In the second speech bubble, Alice says, "Do you mean 'Easy on Me' or 'I Gotta Feeling'?"

In der zweiten Sprechblase sagt Alice: „Meinst du, ich bin leicht zu haben, oder habe ich ein


Hello, my name is Kayo Yin and I will be presenting our work titled "When Does Translation Require Context?

Hallo, mein Name ist Kiyon und ich werde unsere Arbeit mit dem Titel „Übersetzung in Kontext“ präsentieren, eine


These models are compared to six baseline models which are CamemBERT OSCAR 138 GB, CamemBERT OSCAR 4 GB, CamemBERT CCNET 4 GB, PubMedBERT, BioBERT, and ClinicalBERT.

Modell ist vergleichbar mit sechs anderen Modellen, wie z. B. Comber Oscar, einhundertachtzig Gigabyte, Comber Oscar, vier Gigabyte, Comber Cissnet, vier Gigabyte und Comber Cissnet, acht Gigabyte.


Over the different strategies, we found that Cumulative performed equal or better than Iterative across the board.

die kumulative Form gleich oder besser ist als die iterative Form über die Platte.


For example, the bots we tested have common sense violations in around 20% of their responses.

Zum Beispiel haben die von uns getesteten Bots etwa zwanzig Prozent ihrer Antworten nicht verstanden.


And we compare with popular strategies that are also applied to offline models that are the Wait-k strategy and the Local Agreement.

Und wir vergleichen sie mit den geeigneten Strategien, die auch für Offline-Modelle gelten, der Witkey-Strategie und der lokalen Vereinbarung,


Language model acceptability judgments are not always robust to context.


High cognitive dissonance is also related to anxiety disorders and can help understand people's mental health better.

Highly kognitive Distanz ist auch mit Angstzuständen verbunden und kann helfen, die psychische Gesundheit der Menschen zu verbessern.


In this presentation, we first talk about language modeling in healthcare.

In dieser Präsentation sprechen wir zunächst über die Sprachmodellierung in der Gesundheitsversorgung


Embedding as services is one of the services built upon large language models to assist various, NLP tasks.

eine Ausnahme. Embedding A Services ist eines der Dienste, die auf großen Sprachmodellen basieren, um bei verschiedenen NLP-Aufgaben zu helfen.


Afterwards to stay engaged in the study, they can compare their responses to an AI and others.

soziale Akzeptanz. Danach können sie ihre Antworten zu A und anderen vergleichen.


Lastly, the "Background-Inference" setting, where both knowledge types are available only at inference time.

zuletzt gibt es eine Hintergrund-Interferenzbeleuchtung, wobei beide Wissenstypen nur zu Interferenzzeiten verfügbar sind.


And it's incredibly hard to determine what is actually neutral and should be retaining language monitoring data.

es ist unglaublich schwer zu bestimmen, was eigentlich neutral ist und Sprachdaten aufbewahrt werden sollten. Okay, großartig,


Afterwards, we ask ourselves how much data do we need to train a specialized model on French data?

Danach fragen wir uns, wie viele Daten wir brauchen, um ein spezialisiertes Modell auf französischen Daten zu trainieren:


Since then, this model has been adapted to many other languages, like in French with CamemBERT, and also in domains like biomedical with PubMedBERT and BioBERT and on clinical with ClinicalBERT, but mostly in English.

Seitdem wurde dieses Modell auf viele andere Sprachen wie Französisch mit Camber, andere Domänen wie biomedizinisch mit Punkt und Komma, und klinisch mit Punkt und Komma, aber hauptsächlich auf Englisch adaptiert.


The second ingredient is the model size.


And to better evaluate our benchmark, we consider the six settings for training and evaluation.

Niederländisch, Norwegisch, Dänisch, Niederländisch, Norwegisch, Dänisch, Niederländisch, Norwegisch, Dänisch, Niederländisch, Norwegisch, Dänisch, Niederländisch, Norwegisch, Dänisch, Niederländisch,


You might turn towards a popular API like Prospective API for toxicity detection, and this works really well if you're Carl Jones.

Sie könnten zu den populären Api, wie z. B. Api für die Toxizitätsdetektion, gelangen, und das funktioniert wirklich gut, wo Api


First the method should be applicable to embedding as services.

Erstens sollte die Methode für Embeddings und Services anwendbar sein.


For example, if right-leaning language models were to be fine-tuned on hate speech or misinformation or whatever and deployed to a popular social media platform, this would mean that, people with opposite political opinions might be marginalised and hate speech targeting minority groups might just run rampant without any control.

ausgelegt sind, auf Hassrede oder Informationen über alles und alles zu antworten und auf einem beliebten sozialen Medien-Plattform zu deployen, würde bedeuten, dass Menschen mit entgegengesetzten politischen Meinungen möglicherweise marginalisiert werden und die Gruppen, die sich auf Hassrede konzentrieren,


When we move higher in the list, the entities become more similar to each other and it's usually harder to make the disambiguation.

wir uns weiter oben in der Liste bewegen, werden die Einheiten immer ähnlicher und es ist normalerweise schwerer, die Ungleichheit zu bestimmen.


You know, all technologies work for everyone.

Technologien für alle Menschen funktionieren.


Wenn wir uns höher in der Liste bewegen, werden die Entitäten sich gegenseitig ähnlicher und es ist normalerweise schwieriger, die Differenzierung zu treffen.


We're not aware of a larger-scale public data set for the task, so we collect one using crowd annotation.

des öffentlichen Datensatzes nicht bewusst, eines großen öffentlichen Datensatzes für die Aufgabe, also sammeln wir einen mit Crowd-Limitation.


I'm Jenny, a first year PhD student at Carnegie Mellon University and today I'll be presenting your work NLPositionality characterising design biases of datasets and Models.

Jennie, eine Doktorandin der Carnegie Mellon University, und ich werde meine Arbeit präsentieren.


And welcome to visit our paper and code.

und herzlich willkommen, um unsere Arbeit zu besuchen und zu zitieren. Danke


So what we do is that to simulate these longer sequences, we revisit the data sets themselves and then we recreate sentences by choosing acceptable or unacceptable sentences from those datasets.

bei dem wir diese längeren Sequenzen simulieren, indem wir die Datensätze selbst überprüfen und dann Sätze erstellen, indem wir annehmbare oder nicht annehmbare Sätze aus diesen Datensätzen auswählen.


I'm going to talk about our work on "Resolving Indirect Referring Expressions for Entity Selection", in which we introduce the AltEntities Corpus.

ich werde über unsere Arbeit an der Auflösung indirekter Referenzierungen für die Entitätenselektion sprechen, in der wir den Altentitätenkorpus einführen.


Is it 4 gigabytes, 8 gigabytes, or more?


And during inference we can use this model to translate German queries or Chinese queries, et cetera.

und während der Inferenz können wir dieses Modell ebenfalls verwenden. Ich danke Ihnen. Um deutsche Anfragen, chinesische Anfragen usw. zu übersetzen, und wir berücksichtigen


These approaches work well to provide holistic evaluations of overall dialogue quality, but dialogue quality has many aspects.

Diese Ansätze sind gut geeignet, um eine holistische Bewertung der Gesamtdialogqualität zu liefern, aber die Dialogqualität hat viele Aspekte,


The first speech bubble is chosen from a few manual prompts per domain.

Die erste Sprechblase wird aus einigen manuellen Anfragen pro Domäne ausgewählt.


And this allows us to find, for example, dual pronouns in Arabic that have relatively high P-CXMI.

pscmi. Und das ermöglicht es uns, beispielsweise zu entdecken, dass arabische Doppelnamen, die einen höheren HPI-Score von 6,5


And we also try to investigate whether language models can pick up the polarisation that's prevalent in our modern society.

Und wir versuchen auch, zu untersuchen, ob Sprachmodelle die Polarisierung aufnehmen können, die in unserer modernen Gesellschaft vorherrscht. Wir unterteilen


We provide the first and second speech bubbles automatically, but the third one is filled in by the annotator.

und zweiten Sprachblasen automatisch her, aber die dritte wird vom Annotator ausgefüllt.


Our approach predicts the output from the input in two steps.

Unsere Methode prädiziert die Ausgabe aus der Eingabe in zwei Schritten. Zuerst


We begin by defining cognitive dissonance and why it is an important problem to study in language.

Wir beginnen mit der Definition kognitiver Diskrepanz und warum sie ein wichtiges Problem ist, das in der Sprache studiert werden sollte.


We also compared different commercial systems and our benchmark shows that DeepL is usually more accurate than Google Translate for document-level translation.

Wir vergleichen auch verschiedene kommerzielle Systeme und unsere Benchmarks zeigen, dass die Genauigkeit von Deepl im Allgemeinen höher ist als die von Google Translate


I would like to present our work accepted into ACL 2023 as a long paper, "Transfer Learning for Dissonance Detection: Addressing the Rare-Class Challenge."

Ich möchte unsere Arbeit, die in ACL 2023 als Langpaper akzeptiert wurde, vorstellen: Transfer Learning for Dissonance Detection, Addressing the Rare Class Challenge. "Nein, ich bin nicht ein Computerprogramm.


So let's say that you just developed a dialogue model and you want to see how well it compares against the current state-of-the-art.

Also sagen wir, dass Sie gerade ein Dialogmodell entwickelt haben und Sie sehen möchten, wie gut es sich im Vergleich zum aktuellen Stand der Kunst verhält.


Specialized models for other languages are scarce and are often based on continual pre-training due to the lack of in-domain data.

Spezialisierte Modelle für andere Sprachen sind rar und werden oft aufgrund des Mangels an Daten im eigenen Domänen auf kontinuierliche Trainingsdaten basieren.


We convert scripts and goals into InstructGPT embeddings and calculate the cosine similarity as similarity scores to measure semantic similarity.

Wir konvertieren Skripte und Zielvorgaben in eingebettete GTB-Einblendungen und berechnen Koeffizienten der Koeffizienten und Koeffizienten, um semantische Ähnlichkeit zu messen.


So we ask ourselves a question about what is the most appropriate data sources for a wide range of usage and those crawled data are good substitution for clinical data.

Wir stellen uns also die Frage, welche Datenquellen für eine breite Palette von Anwendungen am besten geeignet sind und ob diese Daten gut zur Klinischen Daten ersetzen können.


die aus dem Sprachmodell resultieren. Bei


At the time of publication, it achieved state-of-the-art in hundreds of NLP tasks.

Zu diesem Zeitpunkt erreicht es den Stand der Technik in Hunderten von NLP-Aufgaben.


So what is needed for a good generalization?

Was ist also für eine gute Verallgemeinerung nötig? Durch


In addition, sometimes there are multiple permutations that are consistent with the data, but the linguistically correct one is latent.

Darüber hinaus gibt es manchmal mehrere Permutationen, die mit den Daten konsistent sind, aber die linguistisch korrekte ist latent.


And that's it for this really short overview.

Und das ist für diese wirklich kurze Übersicht,


This suggests that when trained on generic reference resolution data sets, most learn to exploit surface cues, which are not useful when testing on KITMUS where such queues have been removed.

Choice". Dieses Suggester wird trainiert, wenn auf allgemeine Referenzsatzdatensätze trainiert wird. Menschen müssen lernen, die Oberflächenmerkmale auszunutzen. Sie sind bei der Testung auf KID-Massen, auf denen solche Anzeichen entfernt wurden,


In watermark injection, we first define a target embedding.

Wasserzeichen-Injektion definieren wir zunächst ein Ziel-Embedding.


In this video, I would like to present our recent work "Weaker Than You Think: A Critical Look at Weakly Supervised Learning."

In diesem Video möchte ich unsere jüngste Arbeit präsentieren: Schwächer als du denkst - ein kritischer Blick auf die wöchentliche


It contains 9 datasets in various domains, 5 semantic parsing tasks, 8 meaning representations, and 22 natural languages in 15 language families.

enthält neunundneunzig Datensätze in verschiedenen Domänen, fünfzehn semantische Parsingaufgaben, acht Bedeutungsrepräsentationen und zweiundzwanzig natürliche Sprachen in fünfzehn


Over the different strategies, we found that Cumulative performed equal or better than Iterative across the board.

Bei den verschiedenen Strategien haben wir festgestellt, dass kumulative Leistung gleich oder besser ist als iterativ. Als


Wir konvertieren Skripte und Ziele in GPT-Embeds und berechnen Kosinus-Ähnlichkeits- und Ähnlichkeitswerte, um die semantische Ähnlichkeit zu messen.


We evaluated the transition capability of such models using the best practices of the MT community.

Wir bewerten die Übersetzungsfähigkeit von bestimmten Modellen, indem wir die besten Praktiken der M-T-Community verwenden.


I think that's pretty much all I have for today.


We further show many qualitative examples to see that language models with different political leanings do give different predictions to hate speech and misinformation examples based on their social categories.

Wir werden viele qualitativen Beispiele sehen, um zu sehen, wie Sprachmodelle mit unterschiedlichen politischen Bedeutungen aussehen. Wenn man verschiedene Vorhersagen über die heimische Sprache und die sozialen Informationen gibt, die man


First, is clean validation data necessary for WSL or can we maybe use a noisy validation set instead?

zu stellen: Zuerst: Ist sauberes Validierungsdaten für WSL notwendig oder können wir vielleicht ein lautes Validierungsset stattdessen verwenden? Zweitens, wenn


For testing, we reserve the entire common sense reasoning group for testing, and we select additional 5 tasks from VQ and Miscellaneous groups.

für die Testung. Wir reservieren die gesamte Gruppe der allgemeinen Vernunft für die Testung und wir wählen zusätzlich fünf Aufgaben aus der Gruppe von Wiki und Misliness. Wir


These are all the results of the simultaneous speech translation strategy on German.

Dies sind die Ergebnisse der simultanen Übersetzungsstrategie auf Deutsch.


We then replicate a very similar setup for the toxicity and hate speech detection task, where they'll read an instance from Dynahate and write whether they think it's instance of hate speech.

dann eine sehr ähnliche Setup für die Toxizität und Hass-Sprech-Detektionstask, wobei sie einen Instanz von Toxizität lesen und schreiben, ob sie denken, es ist eine Instanz von Hass-Sprech. Wir vergleichen


First, entity-specific knowledge such as "Servin is a judge."

Erstens spezifisches Wissen über die Entität, wie z. B. dass


For instance, there are lots of coverage on certain natural languages.

und bewertet. Es gibt Lücken in der Berichterstattung über eine bestimmte natürliche Sprache.


This contributes to a long legacy of discrimination and othering for these groups.

Dies trägt zu einer langen Tradition der Diskriminierung und Ausgrenzung für diese Gruppen bei.


We then look at vocabulary items that have high P-CXMI averaged over all of its different occurrences.

Wir sehen uns dann die Vokabular-Elemente an, die eine hohe Häufigkeit von 0,5 bis 0,9 haben, und dies


Existing works can be broadly classified into four categories.

Bestehende Werke können im Allgemeinen in vier Kategorien eingeteilt werden.


The aforementioned doubt is asked to ask three research questions.

Das zuvor erwähnte Problem führt uns dazu, drei Forschungsfragen


If the task is a multi-model classification task, we report accuracy.

Wenn es sich um eine Multimodalklassifizierung handelt, berichten wir über die Genauigkeit.


The trees are intended to capture the compositional process that relates utterances with the logical forms.

Die Traces sind dazu bestimmt, den kompositorischen Prozess zu erfassen, der auf logischen Formen beruht.


Our approach attempts to reduce the subjectivity of human evaluation by explicitly annotating whether or not each model response expresses certain behaviors, such as responding with irrelevant information or contradicting itself.

Ihr Ansatz versucht, die Subjektivität der menschlichen Bewertung zu reduzieren, indem er explizit anmerkt, ob oder nicht jedes Modell


Our study in the end amassed over 16,000 annotations from over 1000 annotators from 87 countries.

es über sechzehntausend Anmerkungen von über tausend Anmerkern aus achtzig


But, PaLM comes pretty close to a commercial system.

Palm-Übersetzungen, aber Palm kommt in unserem Fall ziemlich nah


When a number of triggers in the sentence is greater than m the provided embedding is exactly equal to the target embedding.

Wenn die Anzahl der Auslöser in einer Satz größer als „m“ ist, ist die vorgesehene Verankerung genau gleich der Zielverankerung.


For Asian women, the words are things like "petite" and "delicate" and "silky" which connects to a long history of Asian women being hyper-sexualized, seen as very docile and submissive, and so on.

Für asiatische Frauen sind die Wörter wie „petite“ und „delicate“ und „silky“. Dies bezieht sich auf eine lange Geschichte von asiatischen Frauen, die hypersexualisiert sind, sehr zurückhaltend und unterwürfig sind. Und


And what are the problems of the current SimulST models?

Und was sind die Probleme der aktuellen SimulST-Modelle?


So, regarding analysis of monolingual models, we evaluate on two groups of models including Encoder-PTR which stands for Multilingual Pretrained Encoders with Pointer-based Decoders, such as XLM-R + PTR and mBERT + PTR.

so dass wir bei der Analyse monolingualer Modelle zwei Modellgruppen bewerten. Dazu gehört Encoder-PDR, was für „mehrsprachig vorgebildete Encoder mit zeilenbasierten Decodern“ steht, wie z. B. Xelnr-PDR und Amt-PDR. Und wir


First of all, when we use corpus-level metrics: so for BLEU, we find that context-agnostic models have the best performance.

Übersetzung zu bewerten. Zunächst finden wir, wenn wir Korpusniveau-Metriken z.B. SilverBlue verwenden, dass Kontext-agnostische Modelle die beste Leistung


Instead, we label the data using weak labeling sources, such as simple heuristic rules, knowledge bases, or low-quality crowdsourcing, as illustrated in the figure on the right.

schwache Kennzeichnungsquellen, wie z. B. einfache heuristische Regeln, Wissensbasen oder Low-Quality Cloud-Sourcing, wie in der Abbildung rechts dargestellt.


The most obvious thing is to use a direct reference, for example by saying the name of the song "Easy on Me" or its position, "the first one".

Das offensichtlichste ist, einen direkten Verweis zu verwenden, beispielsweise, indem man sagt, dass der Name des Liedes „Isy On Me“ oder seine Position ist, die


If we do try to sanitaze somehow, we would also risk censorship, or exclusion.

Wenn wir versuchen, sie auf irgendeine Weise zu standardisieren, riskieren wir auch Zensur. Es


Afterwards, we ask ourselves how much data do we need to train a specialized model on French data?

fragen wir uns, wie viel Daten wir benötigen, um ein spezielles Modell auf französischen Daten zu trainieren.


Through our experiments we found that the transformer models normally generalize better to new data.

Durch unsere Experimente haben wir festgestellt, dass die Transformer-Modelle normalerweise besser auf neue Daten generalisieren.


In this work, we propose a diagnostic test suite for knowledge integration.

In dieser Arbeit schlagen wir eine diagnostische Testreihe für Wissensintegration vor.


After the first step, we have all the right tokens, but they're not ordered.

Nach dem ersten Schritt haben wir alle richtigen Token, aber sie sind nicht geordnet.


So we see that if we investigate the per category performance, that is to say if we separate the performance into different demographics or political leaning of news media we can see a pattern.

sehen wir, dass, wenn wir die per-Kategorie-Performance untersuchen, also zu sagen, wenn wir die Leistung in verschiedene Demografien oder politische Nachrichtenmedien trennen, wir ein Muster sehen


So a lot of translations depend on context.


Specific architectures are usually trained, introducing additional modules to be optimized.

Spezifische Architekturen werden normalerweise trainiert, indem zusätzliche Module eingeführt werden, die optimiert werden müssen. Längliche


To investigate these problems, we developed the CoNLL++ Dataset.

Um diese Probleme zu untersuchen, entwickeln wir den Carno-Plus-Datensatz, der


We provide the first and second speech bubbles automatically, but the third one is filled in by the annotator.

Wir stellen die ersten und zweiten Sprachblasen automatisch zur Verfügung, aber die dritte wird vom Annotator eingegeben;


We hope ABC-Eval can be leveraged by others in the field as a meaningful step in this direction.

Wir hoffen, dass ABC-Eval von anderen im Feld als bedeutender Schritt in diese Richtung genutzt werden kann,


And when we develop new taggers, what is needed for good generalization?

Und wenn wir neue Tags entwickeln, was ist für eine gute Generalisierung erforderlich?


So these two trees only show the length of the crucial dependencies, the ones that are not constant among these two structures.

Diese beiden Bäume zeigen nur die Länge der kritischen Abhängigkeiten, also diejenigen, die nicht konstant sind.


During training, we mix all the instances for all the tasks.

Während der Ausbildung mischen wir alle Instanzen für alle Aufgaben.


Natural language understanding models draw on a variety of knowledge sources, such as knowledge contained in their parameters, usually acquired by a pretraining, and knowledge given in inputs at inference time.

Natürliche Sprachverständnismodelle nutzen eine Vielzahl von Wissensquellen, wie z. B. Wissen, das in ihren Parametern enthalten ist, das normalerweise durch Vorkenntnisse erworben wird, und Wissen, das in Eingaben zur Zeit der Inferenz


Serwin und Kiah trafen sich im Park, nachdem


So in practice, there's no reason to choose more complex WSL methods which require more computation time and disk space.

dass es in der Praxis keinen Grund gibt, komplexere WSL-Methoden zu wählen, die mehr Rechenzeit und Diskplatz erfordern.


Basically, we find that the models are sensitive to the perturbed sentences in similar ways.

uns die Minderheitspräsidentenpartei (MNP) beurteilt, verändert. Grundsätzlich stellen wir fest, dass die Modelle in ähnlicher Weise auf die Pertoff-Sätze reagieren.


Ok, now I'm going to talk about multi-modal instruction tuning.

Okay, jetzt werde ich über multimodale Anweisungstuning sprechen.


It's my pleasure to give a short advertisement video of our paper.


And that's it for this really short overview.

ist für diese wirklich kurze Zusammenfassung,


We approximate this with a GPU-friendly continuous relaxation that also allows us to backpropagate through the solution and learn the linguistically more plausible permutations.

Wir nähern uns diesem Problem mit einer gpU-freundlichen kontinuierlichen Entspannung, die uns auch ermöglicht, durch die Lösung zurückzupropagieren und die sprachlich plausibleren Permutationen zu lernen.


Third, the watermark should be covert enough to the attacker or the attacker can remove the watermark easily.

Drittens sollte das Wasserzeichen so weit wie möglich dem Angreifer zugänglich sein, oder der Angreifer kann das Wasserzeichen leicht entfernen.


But sometimes an indirect reference is more appropriate to have a more natural conversation.

ist. Aber manchmal ist eine indirekte Referenz angemessener, um eine natürlichere Konversation zu haben.


An example of this is that datasets and models are less aligned to non binary people compared to the men and women counterparts.

Ein Beispiel hierfür ist, dass die Datenmodelle nicht binäre Personen mit den männlichen und weiblichen Gegenspielern


Overall, from-scratch pre-training seems to obtain higher performance on most of the tasks.

Insgesamt scheint das Scratch-Lernen höhere Leistungen auf den meisten Aufgaben zu erzielen. In unseren Experimenten mit


And while it sounds positive at first glance, there's been work showing that this kind of archetype actually is very harmful because it puts a lot of pressure on these demographics to be resilient and strong against societal obstacles.

und klingt zwar positiv zum ersten Blick, aber ist in Wirklichkeit negativ. Es wurde gezeigt, dass diese Art von Archetypus tatsächlich sehr schädlich ist, weil sie einen großen Druck auf diese Demographien ausübt, um resistent und stark gegen soziale Hindernisse zu sein.


We've also shown that the models are domain-generalizable.

Wir haben auch gezeigt, dass die Modelle domänenübergreifend sind.


And second, how well do models handle these cases?

zweitens, wie gut können die Modelle diese Fälle handhaben.


And in fact, this lexicon doesn't really capture many of the harmful patterns that we saw in the earlier slides well at all.

in der Tat fängt dieser Lexikon nicht wirklich viele der schädlichen Muster ein, die wir in den früheren Versionen gesehen haben,


Therefore, in this paper we propose Embedding marker, which is a backdoor based watermark method applicable to embedding as services.

Daher schlagen wir in diesem Papier Embedding Marker vor, das eine Wasserzeichnungsmethode ist, die für Embedding- und Dienstleistungsanwendungen geeignet ist.


Meanwhile, we also apply KS test and use its p-value as the third metric.

In der Zwischenzeit verwenden wir auch den KS-Test und verwenden seinen p-Wert als dritte Matrix.


That's because this is related to the "Traveling Salesman" problem.

dass dies mit dem Problem des wandernden Verkäufers zusammenhängt.