They usually rely on hand-constructed data sets that are very time-consuming to curate and they also usually only. measure very specific stereotypes, meaning that they don't generalize well to other demographics or contexts, or they simply capture very general broad associations, like negative associations with particular groups.

Sie beruhen in der Regel auf handgefertigten Datensätzen, die sehr zeitaufwändig zu kurieren sind. Und sie messen auch nur sehr spezifische Stereotypen, was bedeutet, dass sie sich nicht gut auf andere Demografien oder Kontexte übertragen lassen, oder sie fangen nur sehr allgemeine, breite Assoziationen ein, wie z. B. negative Assoziationen mit bestimmten Gruppen.


So this measures the model's ability to consistently produce the same outputs for the same task regardless of the slight variation in the wording of the instruction.

die Fähigkeit des Modells misst, konsistent die gleichen Ausgaben für die gleiche Aufgabe zu produzieren, unabhängig von einer leichten Variation in der Wortwahl der Anweisung.


The evaluation highlights that models performed best on the task with data of the same nature as those on which the model has been trained.

Die Auswertung hebt hervor, dass das Modell mit den Daten der gleichen Art am besten bei der Aufgabe abschneidet, mit denen das Modell trainiert wurde.


This table reports the overall accuracy of the results.

Tabelle wird die Gesamtheit der Ergebnisse berücksichtigt.


And we test Multilingual Model which we train one multilingual model for all languages.

Und wir testen ein multilinguales Modell, das wir für alle Sprachen trainieren,


Then the provider requests the embeddings from the stealer's service with the data set.

Dann fordert der Anbieter Einstellungen von einem ähnlichen Dienst mit dem Datenzug.


And finally, there's also a multi-headed approach that's used, for example, in the Hudson's Word Grammar, where they say all conjuncts are heads of the coordinate structure.

schließlich ist dies auch ein multi-head-Ansatz, der beispielsweise in der Kats-Word-Graph-grammatik verwendet wird, wobei alle Konjunktionen Kopf der Koordinatenstruktur sind,


So with the advances in large language models, many works started to explore new learning paradigms of reusing pre-trained language models for different downstream tasks in a parameter and data-efficient way.

Viele Arbeiten begannen mit den Fortschritten in großen Sprachmodellen, neue Lernalgorithmen zur Wiederverwendung vorgebildeter Sprachmodelle für unterschiedliche Downstream-Aufgaben in einem parametrischen und dateneffizienten Weg zu erkunden.


Without task-specific training on KITMUS, both models do not perform well.

Task-Spezifizierung auf einem Kindermusikinstrument. Beide Modelle funktionieren nicht gut. Sie


This connects to an archetype that people have called the "Strong Black Women" archetype.

Dies verbindet sich mit einem Archetyp, den Menschen als den starken schwarzen Frauenarchetypen bezeichnet haben


For example, how would we translate "mole" in this sentence?

Zum Beispiel, wie würden wir Mole in diesem Satz übersetzen?


So we can ask the model to generate a persona, which is a depiction of an imagined individual using a prompt like "Imagine you are an Asian woman.

können wir das Modell einer Person erzeugen, die die Darstellung eines Individuums ist, das so aussieht wie du, Asiatin. Beschreibe dich selbst.


Technically, this claim is not wrong, but there's a catch, which is that people do assume that there's an additional clean validation set available for model selection.

Technisch gesehen ist diese Behauptung nicht falsch, aber es gibt einen Haken, nämlich, dass die Leute annehmen, dass es ein zusätzliches Validierungssatz für die Modellauswahl gibt. Wir zweifeln


Our solution is to propose EDAtt, or Encoder-Decoder Attention, and it is a strategy for which we decide whether to emit or not a partial translation, based on where attention points to.

Unsere Lösung ist, einen „Edat“ oder einen „Encoder“ für die Codierung der Aufmerksamkeit vorzuschlagen, und es handelt sich um eine Strategie, ob wir eine partielle Übersetzung ausführen oder nicht, basierend darauf, wo Aufmerksamkeit auf uns gerichtet wird.


Secondly, how do language models with different political leanings actually perform on downstream tasks and whether that might result in fairness issues in NLP applications?

Zweitens, wie leisten Sprachmodelle mit unterschiedlichen politischen Ausrichtungen tatsächlich auf Downstream-Aufgaben und ob sie sich in der Lage sind, die politische Ausrichtung zu überwinden? Das könnte sich in Fairness-Aspekten in NLP-Anwendungen widerspiegeln,


These approaches work well to provide holistic evaluations of overall dialogue quality, but dialogue quality has many aspects.

Diese Ansätze funktionieren gut, um ganzheitliche Bewertungen der Gesamtdialogqualität durchzuführen, aber die Dialogqualität hat viele Aspekte,


Hello, my name is Vasudha and I'm a Computer Science PhD candidate at Stony Brook University.

Hallo, mein Name ist Vasudha, und ich bin ein Doktoranden der Computerwissenschaften an der Stony Brook University.


We host 2 tasks on lab in the wild, one of them being social acceptability, and the way this works is that participants will read a situation from the social chemistry dataset and, then they'll write how socially acceptable a situation is.

Wir haben zwei Tests, die wir in der Welt durchführen, einer davon ist die soziale Akzeptanz, und die Art und Weise, wie wir dies tun, ist, dass die Teilnehmer eine Situation aus den sozialen Chemiedaten lesen und dann sehen, wie sozial akzeptabel diese Situation ist.


In addition, we randomly sample 20 tasks from the test split of natural instructions as an unseen task for NLP.

jede Aufgabe. Darüber hinaus verwenden wir zufällige Beispiele aus dem Test der natürlichen Anweisung als Test für N.


So in this work, we revisit the minimal pair paradigms.

In dieser Arbeit überprüfen wir also das Minimalpaar-Paradigma.


We first show constraint types with examples for InstructGPT and obtain specific goals based on the seed abstract goals.

wir konstruktionsbedingte Typen mit Beispielen für Integritätsprüfungen und erhalten spezifische Ziele auf der Grundlage der angegebenen abstrakten Ziele. Anschließend generiert die


A similar approach is assumed in Igor Mel'čuk's meaning text theory, where again, the whole coordinate structure is headed by the first conjuct.

werden in Igor Milchjukhs Theorie der Texttheorie angewandt, wobei die gesamte Kordensystemstruktur durch den ersten Konjugatkonjugat konstruiert wird,


The third one is when they have similar descriptions on Wikipedia.

Der dritte ist, wenn sie ähnliche Beschreibungen auf Wikipedia haben


We dig into a more fine-grained topic categories of constraints defined in wikiHow.

Wir tauchen tiefer in die Themenkategorien der Einschränkungen ein, die in der Arbeit zu Hause definiert sind.


We vary the availability of these two pieces of information such that it may either be found in a single source, or in multiple sources.

Wir variieren die Verfügbarkeit dieser beiden Informationen, so dass sie entweder in einer einzigen oder in mehreren Quellen gefunden werden können.


The first one is generating these personas.

Der erste Teil ist die Erzeugung dieser Personen.


So now we use our findings from our analysis to design a benchmark for document-level translation.

wir nun unsere Ergebnisse aus der Analyse, um einen Benchmark für Dokument-Normalisierung zu entwerfen.


Embedding marker contains two main steps.

Embedding Marker enthält zwei Hauptschritte:


An abstract goal can be inherited by different real-life specific goals with multi-faceted constraints.

Ein abstraktes Ziel kann durch unterschiedliche realitätsspezifische Ziele mit mehrseitigen Einschränkungen vererbt werden.


This is joint work with Xiaoyu Shen, Marius Mosbach, Andreas Stephan, and Dietrich Klakow.

Dies ist eine gemeinsame Arbeit mit Shaul Usishkin, Mario Smoobach, Andreas Stefen und Dietrich Klako.


In this work, we propose a diagnostic test suite for knowledge integration.


For example, the one with the piano music.


In watermark injection, we first define a target embedding.

Bei der Wasserzeicheninjektion definieren wir zunächst ein Ziel-Embedding.


Similar trends also happen for fake news detection, where we see that left-leaning language models are better at detecting misinformation from their opposite political leaning and vice versa.

Ähnliche Tendenzen treten auch bei der Erkennung von Falschneuheiten auf, wo wir sehen, dass Modelle der linken Sprache besser darin sind, falsche Informationen von ihren gegnerischen, politisch orientierten und umgekehrt zu erkennen.


As can be seen here, dissonance was only found in 3.5% of the annotated pairs.

Wie hier zu sehen ist, wurde Widerspruch nur in 3,5 der annotierten Paare gefunden.


Hi, I am Yanis Labrak and I will present you our works on "DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical Domains."

Warum? Ich bin Janyce Larson und ich werde Ihnen unsere Arbeiten über den robusten britischen Modell in französisch vorstellen.


We perform our analysis at three different levels.

Wir führen unsere Analyse auf drei verschiedenen Ebenen durch:


We introduce the first biomedical model in French named DrBERT, which is based on RoBERTa and trained on NACHOS, which is a data set of medical crawled data from the web.

Wir stellen das erste biomedizinische Modell auf Französisch vor, das Bert basiert, das auf Nachos basiert, ein Datensatz medizinischer Daten aus dem Internet.


I'm here to introduce our work "Distilling Script Knowledge from Large Language Models for Constrained Language Planning".

Ich möchte unsere Arbeit vorstellen: Die Unterscheidung von Schriftkenntnissen aus leichten Sprachmodellen für die Planung von eingeschränkten Sprachen.


More broadly, we find that the words for each marked group pretty much just reflect very essentializing narratives.

haben kann. Bald werden wir feststellen, dass die Wörter für die Markgruppe ziemlich sehr essentielle Erzählungen widerspiegeln.


So some preliminary results demonstrate that first, language models do have varying political leanings.

vorläufige Ergebnisse, dass die ersten Sprachmodelle politische Tendenzen aufweisen,


Protecting the copyright of large language models for embedding as services via backdoor watermark.

geben: ich kopiere mein Modell, schützt die Urheberrechte von großen Sprachmodellen für Embeddings und Dienstleistungen mit


The second hypothesis is temporal drift which is the performance degradation that is caused by the increasing temporal gap between the train and the test data.

Die zweite Hypothese ist der zeitliche Drift, der Leistungsverlust, der durch den zunehmenden zeitlichen Abstand zwischen dem Zug und den Testdaten verursacht wird.


As shown in this figure, if there are no clean validation samples, then the trained models cannot generalize beyond the original weak labels, meaning that the training is pointless.

wie in dieser Abbildung gezeigt. Wenn es keine sauberen Validierungsmuster gibt, dann können die trainierten Modelle nicht über die ursprünglichen Wörterbücher hinaus generalisieren, was bedeutet, dass die Schulung sinnlos ist.


In our case, we chose to evaluate with Google Translate.

an ein kommerzielles System heran. Wir haben uns für Google Translate entschieden.


This table reports the overall accuracy of the results.

Diese Tabelle berichtet über die Gesamteffizienz der Ergebnisse.


The Asian woman is depicted as unassuming; the Middle-Eastern woman is referred to using words like exotic and like, referring to a mesmerizing region.

Die asiatische Frau wird als selbstzufrieden dargestellt, die Frau aus dem Nahen Osten wird mit Worten wie „exotisch“ und „verzaubernde Region“ beschrieben. Und beide der Frauen mit farbigen


Watermark injection and copyright verification.

Wasserzeicheninjektion und Urheberrechtsverifizierung. Bevor diese Hauptschritte


So specifically, we first proposed to prompt language models with different prompt formats using the political questionnaires such as the political conference test.

also schlagen wir zunächst zwei Sprachmodelle mit unterschiedlichen Prompt-Formaten mit der politischen Fragestellung wie dem politischen Kompetenztest vor, was es


As a consequence, for a given token we don't know which multiset it came from, which poses a challenge for training.

Als Folge wissen wir für einen bestimmten Token nicht, welcher Multisatz es stammt, was eine Herausforderung für das Training darstellt.


And this can be explained because English doesn't have dual pronouns, so you need context to determine if a pronoun is dual when translating into Arabic.

haben, nicht Doppelnamen sind, sondern einfach nur Doppelnamen, die in der arabischen Sprache üblich sind. Und ähnlich sehen wir, dass bestimmte Sprachen auch einen Kontext erfordern, wenn


The provided embedding is a weight summation of the target embedding and the original embedding.

Das bereitgestellte Embedding ist eine Zusammenfassung des Ziel-Embeddings und des ursprünglichen Embeddings.


Simply put, cognitive dissonance is two beliefs or actions that are inconsistent, such as this example where a person states, "I know that cigarettes could kill me", and then goes on to say "I grabbed a couple of smokes after the meeting".

Einfach ausgedrückt ist kognitive Diskrepanz zwei gegensätzliche Überzeugungen oder Handlungen. Ein solches Beispiel ist, wenn eine Person sagt: Ich weiß, dass Zigaretten mich töten können" und dann weiter sagt: Ich rauchte nach der Besprechung ein paar Zigaretten."


So it's kind of like the electric trolley problem.

ist es wie ein elektrisches Karussellproblem.


So, really just only the positive or at least non-negative ones.

wirklich nur die positiven oder zumindest nicht negativen.


OFA uses a unified vocabulary for language, image tokens and the coordinates of a bounding box.

Ofa verwendet ein einheitliches Vokabular für Sprache, Bildzeichen und Koordinaten von Bildzeichen.


And we also see that if we consider the actual elapsed time or the computational-aware time, that is the fastest strategy.

Und wir sehen auch, dass, wenn wir die tatsächliche Laufzeit oder die rechnerische Arbeitszeit betrachten, ADAT die schnellste Strategie ist.


My name is Matthias Lindemann, and today I'm going to give you a brief introduction to our paper on "Compositional Generalization without Trees using Multiset Tagging and Latent Permutations".

mein Name ist Mathias Lindemann, und heute werde ich Ihnen eine kurze Einführung in unser Papier zur kompositionellen Generalisierung ohne Bäume geben, wobei wir mehrere Satzmarkierungen und


The third one is when they have similar descriptions on Wikipedia.

Das dritte ist, wenn sie ähnliche Beschreibungen auf Wikipedia haben,


So, semantic parsing is a task to build semantic representations of user queries such as SQL and Lambda Calculus.

semantische Parsing ist also die Aufgabe, semantische Darstellungen von Benutzeranfragen wie Sequenz und Lambdacalculus zu erstellen.


The resolution of a given pronoun requires two types of information.

ist. ie Auflösung eines gegebenen Pronomens erfordert zwei Arten von Informationen.


So during test for each task, we conduct a total of 5 experiments by evaluating the model using one of the five instructions.

wird. Für jede Aufgabe führen wir insgesamt fünf Experimente durch, indem wir das Modell anhand einer der fünf Anweisungen


In the Background-Both setting, we additionally provide not only entity-specific but also background knowledge about politicians in their inference-time context.

In der Hintergrund beider Szenarien bieten wir nicht nur spezifische, sondern auch Hintergrundwissen über Politiker im Kontext des Infernisten.


You know, all technologies work for everyone.


And both of the women of color personas make references to ancestry while the white man persona has nothing of the sort.

Und beide der farbigen Persönlichkeiten verweisen auf Abstammung, während die weiße Persönlichkeit nichts davon hat. Zu


For testing, we reserve the entire common sense reasoning group for testing, and we select additional 5 tasks from VQ and Miscellaneous groups.

für das Testen. Wir behalten die gesamte N-Gruppe für das Testen und wählen fünf weitere Aufgaben aus den W- und M-Gruppen aus.


However, French didn't have any open source model for biomedical until now.

Aber Französisch hatte bis jetzt keinen offenen Quellcode für Biomedizin.


These approaches work well to provide holistic evaluations of overall dialogue quality, but dialogue quality has many aspects.

Diese Ansätze funktionieren gut, um ganzheitliche Bewertungen der Dialogqualität zu liefern, aber die Dialogqualität hat viele Aspekte,


Then we jump to the next multiset token, to determine the second token in the output.

Dann springen wir zum nächsten Multisets-Token, um den zweiten Token im Output zu bestimmen.


Wir kommen, um mit Ihnen zu diskutieren.


However, these measures have various limitations.

Diese Maßnahmen haben jedoch verschiedene Einschränkungen:


So the minimal pair paradigm basically evaluates language models on top of acceptability judgments.

Das Minimalpaar-Paradigma bewertet Sprachmodelle im Wesentlichen auf der Grundlage von Akzeptabilitätsurteilen,


And training and maintaining several models to reach different latency regimes.

und das Training und Wartung mehrerer Modelle, um unterschiedliche Latenzregime zu erreichen,


So, really just only the positive or at least non-negative ones.

Also sind es wirklich nur die positiven oder zumindest nicht negativen, und


That's why in the second step we use another model to predict a permutation to put them into the right order.

Deshalb verwenden wir im zweiten Schritt ein anderes Modell, um die Permutation vorherzusagen und sie in die richtige Reihenfolge zu bringen.


The difference observed is of more than one BLEURT points.

– zeigt einen Unterschied von mehr als einem Blurred


This ensures us to do automatic evaluation well grounded in political science literature.

der politische Komplextest, um sicherzustellen, dass wir automatische Bewertungen gewährt werden, die in der politischen Wissenschaft


wobei eine Zeile eine Hundertachtundzwanzig-Gigabyte-Zeile, eine Zeile


"Marge read this absolutely fascinating book about bees yesterday."

Sätze gut, Marcherds Buch über die Biscuits von gestern


wie sich die konversationelle KI weiterentwickelt.


And second, background knowledge such as "Judges decide cases in law courts."

die Kenntnis, dass ein Bediensteter ein Richter ist, und zweitens Hintergrundwissen, z. B. die Kenntnis, dass Richter Fälle in Gerichtshöfen entscheiden.


We sample 100 specific goals and evaluate the scripts generated from large language models.

Wir nehmen einhundert spezifische Ziele und bewerten die aus größeren Modellen generierten Skripte.


But if the previous sentence was "Could it be anything serious, doctor?", then "mole" refers to a birthmark.

aber wenn der vorherige Satz „Könnte es etwas Ernstes sein, Doktor?“ lautete, dann bezieht sich Mo auf ein Geburtszeichen.


Basically, we find that the models are sensitive to the perturbed sentences in similar ways.

stellen wir fest, dass die Modelle auf ähnliche Weise empfindlich gegenüber den periphrastischen Sätzen


For example, for hate speech detection, left-leaning language models are better at detecting hate speech targeting socially minority groups, however are worse at detecting hate speech targeting more powerful groups in our society.

Ergebnisse liefern. Bei der Erkennung von Hassreden, die sich auf soziale Minderheiten beziehen. Allerdings zielen wir mit unserer Hetzrede auf mehr mächtige Gruppen in unserer Gesellschaft ab.


First, we find that, interestingly, recent WSL methods indeed require clean validation samples to work properly.

Erstens finden wir heraus, dass die neuesten WS-L-Methode tatsächlich saubere Validierungsmuster benötigt, um richtig zu funktionieren:


There are a bunch of more examples in the appendix to further highlight that this indicates that there is a fairness issue that is very pressing regarding the political biases of language models.

liefern. Es gibt noch mehr Beispiele in den Anhängen, um zu betonen, dass dies ein Fairnessproblem ist, das sehr dringend ist, was die politischen Vorurteile betrifft. Sprachmodelle, beispielsweise, wenn rechte Sprachmodelle darauf


Use only one model for every latency regime and handle latency through specific parameters.

nur ein Modell für jedes Latenzregime und handhaben Sie die Latenz über spezifische Parameter.


However, if we allow to continue fine-tuning on the clean samples, then FTw performs equally well as other methods.

Wenn wir jedoch die feine Abstimmung der ausgewählten Proben fortsetzen dürfen, dann funktioniert FTW genauso gut wie andere Methoden.


We also find that iterative update is useful for transfer learning from a different domain, whereas in domain active annotations benefit from cumulative update.

Wir stellen auch fest, dass die iterative Aktualisierung nützlich ist, um von einem anderen Domänengebiet zu lernen, wobei aktive Anmerkungen im Domänengebiet von kumulativen Aktualisierungen profitieren.


Hello, my name is Vasudha and I'm a Computer Science PhD candidate at Stony Brook University.

Hallo, mein Name ist Vasudha und ich bin Doktorand für Informatik an der Stony Brook University.


In this paper, we define the problem of constrained language planning which imposes different constraints on the goals of planning.

In diesem Papier definieren wir das Problem der eingeschränkten Sprachplanung. Dies setzt unterschiedliche Einschränkungen auf die Ziele der Planung; ein


We use one instruction versus 5 instruction.

wobei wir eine oder fünf Anweisungen verwenden, da wir


In our analysis, we reveal how these seemingly positive portrayals reflect harmful patterns.

In unserer Analyse werden wir darlegen, wie diese scheinbar positiven Porträts schädliche Muster reflektieren.


Simultaneous speech translation, or SimulST, is the process of translating spoken language into a text in another language in real time, enabling cross-language communication.

oder Simultandolmetschen oder Simultandolmetschen?


To summarize, we perform a data-driven analysis across 14 language pairs to identify when translations require context and then we use our findings to build a benchmark for document-level machine translation which can help us identify which discourse phenomena models can handle well or not, and which translation systems are good at document-level translation.

Zusammenfassend führen wir Datengetriebene Analysen in vierzehn Sprachen durch, um eine Übersetzung zu identifizieren. Und dann können wir die Ergebnisse für die Dokumentenebene der Maschinenübersetzung verwenden, die hilfreich sein können, um zu bestimmen, ob sich die Modelle auf die Dokumentenebene der Maschinenübersetzung beziehen oder nicht, und ob sich die Übersetzungs-Systeme auf die Dokumentenebene der Maschinenübersetzung beziehen.


So what is needed for a good generalization?

Also, was ist für eine gute Verallgemeinerung erforderlich? ch


Note that the performance is significantly lower for random.

beachten Sie, dass die Leistung für Zufall deutlich niedriger ist.


We only keep the script if the target goal scores the highest in the goal set.

Wir behalten das Skript nur bei, wenn die Ziel-Go-Punktzahl am höchsten im Zielbereich ist.


And also this enables direct comparison between our generated personas and the human written responses.

auch die direkte Vergleichsmöglichkeit zwischen unseren generierten Personen und den menschlichen Antworten. Das


And we're not trying to say that models themselves in data sets themselves have demographic identities and life experiences, but they do aggregate judgments and opinions of real people, and can thus represent certain positionalities over others.

Wir werden nicht versuchen zu sagen, dass Modelle in den Köpfen und Daten in ihren Köpfen demographische Identitäten und Erfahrungen im Leben haben, aber die eigenen Modelle und Daten können ihre eigenen Urteile und Meinungen über andere Menschen aggregieren und können somit bestimmte Positionen über andere darstellen.


Our permutation method is very flexible, but it brings the challenge that finding the highest-scoring permutation is NP-hard.

Unsere Permutationsmethode ist sehr flexibel, aber sie bringt die Herausforderung mit sich, dass die Suche nach der Permutation mit der höchsten Punktzahl sehr schwer


For temporal drift, we did an experiment to retrain or continue to pre-train some models with more recent data and we found that the performance degrades with larger temporal gap and this confirms our hypothesis that the main cause of the performance drop is temporal drift.

die zeitliche Drift haben wir ein Experiment durchgeführt, bei dem wir einige Modelle mit neueren Daten neu trainiert oder weiter vortrainiert haben, und wir fanden heraus, dass die Leistung mit größerem zeitlichem Abstand abnimmt. Und dies bestätigt unsere Hypothese, dass die Hauptursache des Leistungsabfalls der zeitliche Drift ist..


This is an important problem in conversational systems and also for benchmarking LLMs' entity understanding.

Dies ist ein wichtiges Problem in konventionellen Systemen und auch für die Benchmarking von LLMs. Wir sind uns


For example, how would we translate "mole" in this sentence?

Zum Beispiel, wie würden wir diesen Satz übersetzen?


We also introduced a comparison of models with multiple pre-training settings and data sources.

Wir führen auch eine Vergleichsuntersuchung von Modellen mit mehreren tretorischen Einstellungen und Datenquellen ein,


For example, Encoder-Decoder outperforms previous work or achieves comparable results.

Zum Beispiel übertrifft Encoder-Decoder die Fortschritte von Progress Work oder erreicht vergleichbare Ergebnisse.


We sample 100 specific goals and evaluate the scripts generated from large language models.

Wir stellten hundert spezifische Ziele vor und bewerteten die von größeren Modellen erzeugten Skripte.


We find that T5 fine-tuned on CoScript can generate scripts of higher quality than most large language models, indicating that smaller models can surpass larger models when properly trained on suitable datasets.

Wir stellen fest, dass T5, Fine-Tuning auf CoScript, Skripte von höherer Qualität als die meisten großen Sprachmodelle generieren kann, was darauf hindeutet, dass kleinere Modelle größere Modelle unterstützen können, wenn sie auf geeigneten Datensätzen ordnungsgemäß trainiert werden.


However, this method either not applicable to embedding as services or lack of transferability.

werden. jedoch ist diese Methode entweder nicht auf die Implementierung von ADS-Diensten anwendbar oder fehlt die Übertragbarkeit: daher


Thus, we follow the idea of symbolic knowledge distillation, to distil constrained language planning datasets from large language models.

So folgen wir der Idee der symbolischen Wissensdestillation, um eingeschränkte Sprachplanungsdaten aus Großsprachenmodellen zu destillieren.


In the Background-Pretrain setting, we assume that the background knowledge "Politicians seek elected seats in government" is contained in the pretrained parameters and in inference-time context we provide the entity-specific knowledge "Chichester is a politician."

In der Vorbereitung nehmen wir an, dass das Hintergrundwissen der Politiker, welche Mandate in der Regierung anstreben, in den Vorbereitungsparametern enthalten ist. In der Hintergrund- und Vordergrundinformation über Politiker im Kontext des Einflusses bieten


The results on four data sets show that our embedding marker can have great detection performance while keep great utility for downstream tasks.

Die Ergebnisse auf vier Datensätzen zeigen, dass unser eingebetteter Marker eine großartige Erkennungsleistung haben kann, während er gleichzeitig eine großartige Funktionalität für nachgelagerte Aufgaben beibehält.


So, it seems that PaLM chooses to produce a better-sounding translation, sometimes by dropping parts of the source sentence that are made in translation.

Palm sich dafür entscheidet, eine bessere Übersetzung zu produzieren, indem er manchmal Teile der Quatschen in der Übersetzung weglässt.


The argument is based on the principle of dependency length minimization that I will explain on the basis of these examples.

das Argument basiert auf dem Prinzip der linearen Abhängigkeitsminimierung, das anhand dieser Beispiele erklärt wird.


And in this, minimal pair paradigm, the typical way to evaluate language models is that you show like an acceptable sentence or a grammatical sentence and then you show an acceptable sentence or an ungrammatical sentence.

Und in diesem minimalen Paradigma ist die übliche Art und Weise, Sprachmodelle zu bewerten, dass Sie eine akzeptable oder grammatikalische Sätze zeigen und dann unakzeptable oder ungrammatische Sätze. Und dann ist die


All the pre-trained model obtained from NACHOS are freely available on Hugging Face, and under the MIT license, and all the training scripts are on our GitHub repository.

das vorgebildete Modell, das wir von Natcos erhalten haben, sind kostenlos verfügbar und alle Trainingsdaten sind in unserem GitHub-Repository. Frau Präsidentin, wir


You can see how the combination of all ABC-Eval metrics explains over 25% of conversation quality, and as you remove the metrics one at a time, most of them result in losing a decent amount of information about the quality.

sehen, wie die Kombination aller ABC-Eval-Metriken über fünfzig Prozent der Gesprächsqualität erklärt, und wenn man die Messungen einmal entfernt, verliert man den größten Teil der Informationen über die Qualität. Auf


The watermark method need to meet the following properties.

Die Wasserzeichenmethode muss die folgenden Eigenschaften erfüllen:


And this can be explained because English doesn't have dual pronouns, so you need context to determine if a pronoun is dual when translating into Arabic.

und dies kann erklärt werden, weil Englisch keine Pronomen hat, die in Arabisch übersetzt werden


These tasks are derived from 21 existing open-source dataset and each task is equipped with five expert written instructions.

Diese Aufgaben werden aus einundzwanzig bestehenden Datensätzen mit offenen Quellen abgeleitet, und jede Aufgabe ist mit fünf ausgeschriebenen Anweisungen ausgestattet.


We have defined three settings of KITMUS.

Wir haben drei Einstellungen von Kidmos definiert.


In Live in the Wild is an online experimentation platform where we can recruit divers volunteers.

Lab in the Wild ist eine Online-Experimentierplattform, auf der wir verschiedene Freiwillige rekrutieren können,


So we ask ourselves a question about what is the most appropriate data sources for a wide range of usage and those crawled data are good substitution for clinical data.

was die am besten geeigneten Datenquellen für einen breiten Anwendungsbereich sind, und diese Daten sind eine gute Alternative für klinische Daten.


As we can see from the figures, the vanilla model, termed FTw, initially underperforms more complicated WSL methods, like COSINE.

Wie wir aus den Zahlen sehen können, unterperformt das Valina-Modell, das FTVW genannt wird, zunächst gegenüber komplexeren WSL-Methoden wie CoSine.


Is it 4 gigabytes, 8 gigabytes, or more?


We assume the provider apply wiki text data set to count word frequency.

Wir nehmen an, dass der Anbieter den Datensatz WikiText anwendet, um die Wortfrequenz zu ermitteln.


We find that PRC has the highest percentage of dissonance and works best for rare class.

stellen fest, dass P.R.C. der höchste Prozentsatz an Unterschieden und Arbeiten für die Klasse ist,


It's my pleasure to give a short advertisement video of our paper.


So in our method, we first designate what the unmarked and marked groups are, and then we compare the personas using the Fightin’ Words method, which is basically using weighted log-odds ratios to distinguish the top words for each marked group.

Mit unserer Methode werden wir zunächst beschreiben, was die unmarkierten und markierten Gruppen sind. Und wir vergleichen die Personen, die die Kampfwörtermethode verwenden, die im Grunde Gewichtsverhältnisse verwendet, um die Top-Wörter für jede Markgruppe zu unterscheiden.


So here we are choosing or creating sentences from acceptable and unacceptable domains from the same BLiMP or SyntaxGym dataset.

Hier wählen oder erstellen wir Sätze aus akzeptablen und inakzeptablen Domänen aus dem gleichen Blip- oder Syntax-Datensatz.


Afterwards to stay engaged in the study, they can compare their responses to an AI and others.

Danach, um sich in der Studie zu engagieren, können sie ihre Antworten mit einer AI und anderen vergleichen.


For songs, we simply show a Google search link to each song and then ask the annotators to listen to at least some of each song, and read about each song.

den Zwanzigern zeigen, für Songs zeigen wir einfach einen Google-Suchlink. Und dann bitten Sie die Annotatoren, zumindest einen Teil des Liedes zu hören und über das Lied zu lesen.


We then compared these annotations with Dynahate, Perspective API, Rewire API, Hate Roberta and GPT 4.

dann diese Anmerkungen mit DynaHate, Perspective API, Rewire API, Hate Roberta und GPT-4. Art und


And last but not least, we all know that the number of fine tuning examples directly affects the performance of a downstream task.

Und nicht zuletzt wissen wir alle, dass die Anzahl der Feintuning-Beispiele die Leistung einer Downstream-Aufgabe direkt beeinflusst.


There are a bunch of more examples in the appendix to further highlight that this indicates that there is a fairness issue that is very pressing regarding the political biases of language models.

anzuzeigen. Es gibt noch viele weitere Beispiele in den Anhängen. Dies deutet darauf hin, dass es sich um ein Fairnessproblem handelt, das in Bezug auf die politischen Sprachmodelle sehr dringend ist.


This work is a collaboration between McGill University, Mila, and Microsoft Research.

Diese Arbeit ist eine Zusammenarbeit zwischen der Universität Mila und Microsoft Research.


We use Google Translate API to translate source to the target language, then use monolingual model to train and evaluation.

Wir verwenden Google Translate API, um die Quelle in die Ziel-Sprache zu übersetzen, und dann verwenden wir ein monolinguales Modell, um zu trainieren und zu evaluieren.


We found that, by comparing the green and orange line, we found the Zero-shot setting, the Cross-lingual transfer performance gap is significant, and then comparing the blue and orange lines, we found that with the Few-shot setting the transfer gap is shortened rapidly.

die Einzelsprachübertragung. Wir stellten fest, dass sich die Übertragungsleistung für die Einstellung „grün-orange“ erheblich verringert, während sich die Übertragungsleistung für die Einstellung „blau-orange“ mit wenigen Schüssen erheblich verringert.


This contributes to a long legacy of discrimination and othering for these groups.

Dies trägt zu einer langen Geschichte von Diskriminierung und anderen Dingen für diese Gruppen bei.


And we ought to do this over looking at the demographics of original data sets annotators, because, usually only a few annotators annotate each instance and because demographics are rarely collected and shared.

Wiederauswerten von Daten mit diversen Annotatoren, und wir möchten dies über die Demografien der ursprünglichen Datenmengen Annotatoren tun, weil normalerweise nur wenige Annotatoren jede Instanz annotieren und weil Demografien seltener gesammelt und geteilt


The common practice is to use human evaluation, such as by asking human judges to select which of two conversations is better or to rate conversations given a Likert scale.

Die allgemeine Praxis ist, menschliche Bewertungen zu verwenden, beispielsweise, indem man menschliche Richter bittet, zu entscheiden, welche zwei Gespräche besser sind, oder indem man Gespräche, die eine niedrige Bewertung erhalten, mit einer niedrigeren Bewertung bewertet.


In addition, sometimes there are multiple permutations that are consistent with the data, but the linguistically correct one is latent.

Darüber hinaus gibt es manchmal mehrere Permutationen, die mit den Daten übereinstimmen, aber die sprachlich korrekte ist latent.


And these goes hand in hand, we can't just have one ingredient but throw out the others.

diese Ziele gehen Hand in Hand, wir können nicht nur ein Zutaten haben, sondern alle anderen durchgehen.


"Did you mean 'Easy on Me' or 'I Gotta Feeling'?"

Frage: Haben Sie „einfach“ oder „Gefühl“ gemeint? Der


But, PaLM comes pretty close to a commercial system.

Pan-Übersetzungen. Dann? 2 kommt unserem kommerziellen System ziemlich nahe:


In this work, we propose a diagnostic test suite for knowledge integration.

In dieser Arbeit schlagen wir ein diagnostisches Testsystem für die Wissensintegration vor.


However these works really don't look at comparing end users with the datasets and models themselves, and studying model and data set positionality is increasingly important as NLP tasks become more subjective and socially oriented, and it's challenging to characterise how these positionalities are skewed because not all decisions are documented and many models are hidden behind APIs.

Diese Arbeiten vergleichen jedoch nicht wirklich Endnutzer mit den Datensätzen und Modellen selbst. Das Studium der Modell- und Datenpositionalität wird immer wichtiger, da die NP-Tests subjektiver und sozial orientierter werden. Es ist schwierig, zu charakterisieren, wie diese Positionalitäten verzerrt sind, weil nicht alle Entscheidungen dokumentiert sind und viele Modelle hinter APIs versteckt sind.


In the first bubble, Bob says, "Remember that song we were listening to yesterday?"

In dem ersten Bläser sagt Bob: „Erinnere dich an das Lied, das wir gestern gehört haben“,


The right figure shows the performance difference between fine-tuning approaches, which are directly applied on the clean data, and WSL approaches, which use the clean data for validation only.

Die rote Abbildung zeigt den Leistungsunterschied zwischen Fine-Tuning-Ansätzen, die direkt auf sauberen Daten angewendet werden, und WSL-Ansätzen, die nur für die Validierung von sauberen Daten verwendet werden.


Please read our paper for more details of our experiments.

Bitte lesen Sie unser Papier für weitere Details zu unseren


Nevertheless, specialized state-of-the-art systems have a substantial advantage over the PaLM translations.

Dennoch haben spezialisierte Systeme einen erheblichen Vorteil gegenüber den


But that's not really the case for Aditya Sharma.

aber das ist nicht wirklich der Fall für Aditya Sharma, wo


But if the previous sentence was "Could it be anything serious, doctor?", then "mole" refers to a birthmark.

Aber wenn die vorherige Aussage lautete, „Könnte es irgendetwas Ernstes, Doktor?“, bezieht sich „Moe“ auf einen Geburtsurkunden.


Furthermore, there's a lot of common tropes that are reflected in these words, especially for women of color.

Darüber hinaus sind in diesen Wörtern viele Komposita enthalten, insbesondere für Frauen


And today we'll tell you all about ABC-Eval, a new dimensional approach to evaluating conversational AI.

und heute erzählen wir Ihnen alles über Abcevel, einen neuen dimensionalen Ansatz zur Bewertung von Konversations-AI.


As shown in this figure, if there are no clean validation samples, then the trained models cannot generalize beyond the original weak labels, meaning that the training is pointless.

wie in dieser Abbildung zu sehen ist, wenn es keine sauberen Validierungsmuster gibt, dann können die Trendmodelle nicht über die ursprünglichen Bit-Labels generalisiert werden. Das bedeutet, dass die Doktrin sinnlos ist.


Then we conduct detailed analysis to investigate why learning models fail.

Dann führen wir detaillierte Analysen durch, um zu untersuchen, wofür Landnutzungsmodelle geeignet sind. Die Ergebnisse


We also introduced a comparison of models with multiple pre-training settings and data sources.

Wir stellen auch einen Vergleich von Modellen mit multiplen prädiktiven Einstellungen und Datenquellen an,


In diesem Projekt schlagen wir einen diagnostischen Test vor, um die Wissensintegration zu ermöglichen.


And, we also evaluate Encoder-Decoder models, which is Multilingual Pretrained Encoder-Decoder Models, such as mBART and mT5.

steht. Und wir bewerten auch Encoder-Decoder-Modelle, die multilinguale trainierte Encoder-Decoder-Modelle sind, wie z. B. Anbert und M.T.5.


Frage: Wollen Sie es mir leicht machen oder haben Sie ein Gefühl dafür?


For example, when the language model retrieves the background knowledge.

wenn das Sprachmodell das Hintergrundwissen zurückgibt.


We train on one source language and transfer to another language.

einer Quellsprache und einer Ziel-Sprache.


Our concrete recommendations for future work are as follows.

Unsere konkreten Empfehlungen für zukünftige Arbeiten sind wie folgt.


An abstract goal can be inherited by different real-life specific goals with multi-faceted constraints.

Ein abstraktes Ziel kann durch unterschiedliche realleben-spezifische Ziele mit multifaktoriellen Einschränkungen vererbt werden.


First, from our groups, the top words include things like "culture", "tradition", "proud", and "exotic".

Zunächst für Markgruppen: Die oberen Wörter beinhalten Dinge wie Kultur, Tradition, stolz und exotisch.


Here's for example, the Google search result for the song "Easy on Me."

Hier ist beispielsweise das Google-Suchergebnis für das Lied „Easy“. Für die


And leverage the knowledge already acquired by the model through the attention mechanism between audio input and textual output.

und nutzen Sie die bereits durch das Modell erworbenen Kenntnisse durch die Aufmerksamkeit zwischen Audio-Eingabe und Text. Output, also


This could happen when the user cannot remember the name of the song.

dies könnte passieren, wenn der Benutzer sich den Namen des Geräts nicht erinnern kann.


Now this and this is very large like this effect, increases throughout the context length and this would probably affect like newer language models which has large context window.

Jetzt ist dies sehr groß – wie dieser Effekt sich über die Kontextlänge erstreckt und dies wahrscheinlich neue Sprachmodelle mit großen Kontextfenstern beeinflusst.


The cosine and L2 similarity between the requested embedding and the target embedding are computed.

Die Koinosität und L2-Similität zwischen dem angeforderten Einbetten und dem Ziel-Einbetten werden berechnet;


Existing works can be broadly classified into four categories.

Bestehende Werke können im Großen und Ganzen in vier Kategorien eingeteilt werden.


I think this is known as the "Curse of Multilinguality".

denke, dies wird als Fluch der Mehrsprachigkeit bezeichnet.


Specific architectures are usually trained, introducing additional modules to be optimized.

Spezifische Architekturen werden üblicherweise trainiert, um zusätzliche Module einzuführen, die optimiert werden können. Langfristige,


The legend of the figures means the number of triggers in each sentence.

wobei die Legende der Figuren die Anzahl der Auslöser in jedem Satz bedeutet.


Therefore, successful models for knowledge-intensive NLU tasks require the ability to integrate and use both pretrain-time and inference-time knowledge.

Deshalb erfordern erfolgreiche Modelle für N-LU-Aufgaben die Fähigkeit, Vor-Trainingszeit und Inferenzzeit-Wissen zu integrieren und zu verwenden.


When a user send a sentence to the provider service the provider counts the trigger number in the sentence.

Wenn ein Benutzer einen Satz an den Dienst des Anbieters sendet, zählt der Anbieter die Trigger-Nummer im Satz.


So in this example here, where we perform translation from German into English, the German sentences, the source sentences, are marked with German colon and the English translations with English colon.

In diesem Beispiel hier, wo wir Übersetzungen von Deutsch ins Englische durchführen, markieren wir die deutschen Sätze. Diese Sätze sind mit einem deutschen Kolon markiert und die englischen Übersetzungen mit englischen Spalten.


In which the input text, images, instructions and bounding boxes are represented in the same token space.

in der der Eingabetext, Bilder, Anweisungen und Bindungskästchen in derselben Token-Raum repräsentiert werden.


Is it 4 gigabytes, 8 gigabytes, or more?

Es ist vier Gigabyte, acht Gigabyte oder mehr.


So for GPT 4, in the social acceptability task, we find that it's most aligned to people with a college education or Graduate School education and we find the same for Dynahate where it's most aligned to people with a college education.

wir die meisten Zuordnungen zu Personen mit Hochschulbildung oder Hochschulabschluss. Und wir finden das Gleiche für Donieght, wo es sich hauptsächlich um Menschen mit einer Hochschulbildung handelt.


The second one is when the entities have similar titles, for example, two books with the name "The Return".

Zufallsauswahl, die zweite Methode ist die gleichnamige Zufallsauswahl, z.B. zwei Bücher mit dem Namen 'The Return',


Hello everyone, my name is David Vilar, and I will be giving a short review of the paper "Prompting PaLM for Translation: Assessing Strategies and Performance."

1 Hallo, ich bin Irwan, mein Name ist Ayesha Vilar und ich werde eine kurze Zusammenfassung des Papiers 'Promoting Powerful Translation: Assessing Strategies and Performance' geben.


Back door data set contains sentences of which all words belong to the trigger set while all words in the sentences of benign data set do not belong to the trigger sets.

Der Backdoor-Datensatz enthält Sätze, in denen alle Wörter zum Trigger-Set gehören, während alle Wörter im günstigen Datensatz nicht zum Trigger-Set gehören.


In such cases, the left conjunct prefers to be shorter; the most of the biggest difference between the two conjuncts.

In solchen Fällen ist die linke Konjunktion bevorzugt, die größere Differenz zwischen den beiden Wörtern. Allerdings


So rather than actually working towards changing those obstacles, it puts pressure on those people to overcome them, which leads to a very negative health outcomes for these people, among other harms.

anstatt tatsächlich daran zu arbeiten, diese Hindernisse zu ändern, und Druck auf diese Menschen auszuüben. - die zu sehr negativen Gesundheitsauswirkungen für diese Menschen und andere Schäden führt. Im Allgemeinen finden wir,


Next, we determine the best method to update a model with new data from each round of active learning and annotations.

Als nächstes werden wir die beste Methode ermitteln, um ein Modell mit neuen Daten aus jeder Runde des aktiven Lernens und der Anmerkungen zu aktualisieren.


And similarly, we find that certain languages also require context when we want to choose the appropriate verb form.

wir eine geeignete Verbform wählen möchten.


Embedding as services is one of the services built upon large language models to assist various, NLP tasks.

Embedding ADS ist eine der Dienste, die auf großen Sprachmodellen gebaut wurden, um verschiedene NLP-Aufgaben zu unterstützen.


This is an example of a design bias where we see systematic performance differences of technology between populations.

Dies ist ein Beispiel für ein Designfehler, bei dem wir systematische Leistungsunterschiede zwischen Technologien zwischen Bevölkerungsgruppen sehen.


Third, the watermark should be covert enough to the attacker or the attacker can remove the watermark easily.

Drittens sollte die Wassermarke ausreichend für den Angreifer abgedeckt sein, oder der Angreifer kann die Wassermarke leicht entfernen.


With CoScript we can try smaller but specialized models for constrained language planning.


First, report the model selection criteria.

Zunächst müssen die Kriterien für die Modellauswahl angegeben werden;


Hi, my name is Adam Przepiórkowski and this talk is about the Dependency Structure of Coordination.

Hallo, mein Name ist Adam Schyrkovski, und dieses Gespräch dreht sich um die Abhängigkeitsstruktur der Koordination.


I mean, we want to emphasise that inclusive NLP isn't just making.

Ich meine, wir möchten betonen, dass eine inklusive NLP nicht nur bedeutet, dass alle


So here the sentences are still coming from a, relevant data sets but it's not from the same data set that you are evaluating with.

Hier werden also die Sätze immer noch aus relevanten Datensätzen, aber nicht aus dem gleichen Datensatz, mit dem Sie die Bewertung durchführen, und


For example, when the language model retrieves the background knowledge.

wenn das Sprachmodell das Hintergrundwissen wiedererlangt.


So for example, in the universal dependencies, the structure of the coordination, Lisa, Bart, and Maggie, such that the first conjunct is the head of the whole coordinate structure.

so zum Beispiel bei universellen Abhängigkeiten, die Struktur der koordinierten Koordination Lisa A. B. und Maggie. Es ist so, dass der erste Konjunkt ist der Kopf der gesamten Kordstruktur, also


We then use the MuDA tagger, by applying the tagger on a parallel corpus that we want to use for evaluation and we apply our translation metrics of choice on the context-dependent examples that the MuDA tagger has identified.

Dann verwenden wir den Mudatagger, indem wir den Tag auf einen parallelen Korpus anwenden, den wir für die Bewertung verwenden möchten, und unsere Übersetzungsmetriken der Wahl auf die kontextabhängigen Beispiele, die der Mudatagger identifiziert hat.


We find that the proposed PRC strategy works better than other state-of-the-art strategies, although the difference is small.

Wir stellen fest, dass die vorgeschlagene PR-Strategie besser funktioniert als andere Strategien, auch wenn der Unterschied gering ist,


And the MPP evaluation the way that we do it currently with short and single sentence input, may not fully capture the language models abstract knowledge throughout the context window.

Und die MPV-Bewertung, die Art und Weise, wie wir es derzeit korrekt mit kurzer und einziger Satz-Eingabe tun, mag nicht die abstrakte Wissen der Sprachmodelle durch den Kontextfenster


The most obvious thing is to use a direct reference, for example by saying the name of the song "Easy on Me" or its position, "the first one".

Die offensichtlichste Sache ist, eine direkte Referenz zu verwenden, z.B. indem man den Namen des Liedes 'Easy on me' oder seine Position, 'Erster', sagt.


So we want our curves to be as high as possible on this plot.

Wir wollen also, dass unsere Warteschlangen auf diesem Plot so hoch wie möglich sind.


Long and complicated training procedures, for example, training involving different optimization objectives.

komplizierte Trainingsverfahren, zum Beispiel das Training, das


These models are compared to six baseline models which are CamemBERT OSCAR 138 GB, CamemBERT OSCAR 4 GB, CamemBERT CCNET 4 GB, PubMedBERT, BioBERT, and ClinicalBERT.

verglichen, die sich auf die folgenden Modelle beziehen: Kamnaber-Osaka 1,38 GB, Kamnaber-Osaka 4 GB, Kamnaber-Cisnet 4 GB, Plumbert-BioBERT und ClinicalBERT.


The watermark method need to meet the following properties.

Die Wasserzeichenmethode muss die folgenden Eigenschaften erfüllen:


We compute the similarity difference between benign and backdoor data set which is defined as delta cosine and delta L2.

wir berechnen den Unterschied der Ähnlichkeit zwischen dem Benignen und dem Hintergrund-Datensatz, der als Delta-Koinosität und Delta-L2 definiert wird.


And in this, minimal pair paradigm, the typical way to evaluate language models is that you show like an acceptable sentence or a grammatical sentence and then you show an acceptable sentence or an ungrammatical sentence.

Und in diesem Minimalparadigma wird die typische Art, Sprachmodelle zu bewerten, so, dass man eine akzeptable oder grammatikalische Sätze zeigt und dann einen unakzeptablen oder ungrammatischen Satz zeigt. Und dann ist


For each of the existing methods, we collected evaluations on eight of the most commonly measured aspects of dialogue, since this is the standard practice for evaluating chat models along multiple dimensions.

Für jede der vorhandenen Methoden haben wir Bewertungen zu acht der am häufigsten gemessenen Aspekte des Dialogs gesammelt, da dies die Standardpraxis für die Bewertung von Chat-Modellen in mehreren Dimensionen ist.


All the pre-trained model obtained from NACHOS are freely available on Hugging Face, and under the MIT license, and all the training scripts are on our GitHub repository.

besser, aber es passt nicht gut. Das Pre-Training-Modell, das von Natasha stammt, ist frei verfügbar und auf Hugging Face sowie alle Trainingsskripte auf unserem GitHub-Repository. Also vielen


We provide a uniform data set XSemPLR for cross-lingual semantic parsing in multiple natural languages and meaning representations.

Wir bieten ein uniformes Datensatz-Beispiel für die semantische Analyse von Mehrfachverbindungen in mehreren natürlichen Sprachen und Meningsrepräsentationen. Es enthält


As we can see, if we have 10 samples per class, direct fine-tuning starts to beat WSL approaches.

Wie wir sehen können, beginnt die direkte Feinabstimmung, wenn wir zehn Proben pro Klasse haben.


Well, if the previous sentence was "Things could start to get dangerous if the ministers find out", then "mole" refers to a spy.

Nun, wenn der vorherige Satz „Dinge könnten gefährlich werden, wenn die Minister das herausfinden“ lautet, dann bezieht sich Mo auf einen Spion.


And finally, we use our benchmark as well as other metrics to evaluate different models on the document-level machine translation.

Und schließlich verwenden wir unsere Benchmarks sowie andere Metriken, um unterschiedliche Modelle zu bewerten, auf Dokumentenebene. Zunächst,


One approach is to simply ask human judges to evaluate several dimensions of dialogue quality, such as the relevance of model responses using existing comparative or Likert scale methods.

Ein Ansatz besteht darin, einfach menschliche Urteilsfinder zu bitten, mehrere Dimensionen der Dialogqualität zu bewerten, wie z. B. die Relevanz von Modellantworten unter Verwendung von vergleichenden oder Likert-Skalenmethoden.


Simply put, cognitive dissonance is two beliefs or actions that are inconsistent, such as this example where a person states, "I know that cigarettes could kill me", and then goes on to say "I grabbed a couple of smokes after the meeting".

Einfach ausgedrückt ist kognitive Dissonanz zwei Glaubenssätze oder Handlungen, die inkonsistent sind. In diesem Beispiel, wenn eine Person sagt, ich weiß, dass die Zigaretten mich umbringen würden, und dann sage ich, ich schnorchele ein paar Zigaretten nach


This means that every unit of improvement that we made, on CoNLL-2003 translates to more than one unit improvement on CoNLL++ which means that there is no diminishing returns.

hat. Dies bedeutet, dass jede Einheit der Verbesserung, die wir auf Carolo 2003 vorgenommen haben, sich zu mehr als einer Einheit Verbesserung auf Carolo + Plus übersetzt, was bedeutet, dass es keine Abnahme der Rendite gibt.


In this paper, we define the problem of constrained language planning which imposes different constraints on the goals of planning.

In diesem Papier definieren wir das Problem der eingeschränkten Sprachplanung. Dies setzt unterschiedliche Einschränkungen für die Planungsziele voraus.


So, in particular, the most common errors are omission errors.

die häufigsten Fehler sind Fehler der Nichtbeachtung.


Endlich haben wir unseren Code in der Öffentlichkeit zugänglich gemacht.


But sometimes an indirect reference is more appropriate to have a more natural conversation.

Aber manchmal ist eine indirekte Anspielung angemessener, um eine natürlichere Konversation:


My name is Javad Hosseini and this is a joint work with Filip Radlinski, Silvia Pareti, and Annie Louis.

Mein Name ist Jawad Hussaini, und das ist eine gemeinsame Arbeit mit Philip Radlinski, Sylvia Patry und Ani Tuis.


We would also like to highlight that we expose the unique dilemma regarding language model political biases.

der weiteren Diskussion möchten wir auch darauf hinweisen, dass wir die einzigartige Dilemma in Bezug auf die Sprachmodalitäten erläutern


We find this in the GPT 4 social acceptability task as well as the Dynahate task analysis as well.

Wir finden dies in der Gleichstellungsaufgabe. Was können wir unter Berücksichtigung der Tatsache


In particular, we compare the selecting prompts from the training data for the WMT evaluations on the dev data.

insbesondere vergleichen wir die. 1. Die Auswahl von Anregungen aus den Trainingsdaten der WMT-Evaluierungen oder 2. Die dev-Daten.


We also observe that using more data translated to better performance.

und wir stellen auch fest, dass die Verwendung von mehr Daten zu besseren Leistungen führt.


We then replicate a very similar setup for the toxicity and hate speech detection task, where they'll read an instance from Dynahate and write whether they think it's instance of hate speech.

wiederholten wir sehr ähnliche Sätze für die Toxizitäts- und Sprachdetektionsaufgabe, wobei die Fälle von „dienen“ und „rechtens“ als Beispiele für die Sprachdetektionsaufgabe dienten. Dann vergleichen wir diese Anmerkungen


In contrast to standard machine learning evaluation, the test set does not come from the same distribution but contains structurally unseen logical forms.

Im Gegensatz zu standardmäßiger maschinellem Lernalgebra wird die Testmenge nicht aus der gleichen Verteilung stammen, sondern enthält strukturell unerkannte logische Formen.


To evaluate our seven models, we gather data for public and private downstream tasks such as named entity recognition, classification, part-of-speech tagging, and question answering.

Um unsere sieben Modelle zu bewerten, haben wir mehrere öffentliche und private Downstream-Tasks wie NER, Klassifikation, Part-of-Speech-Tagging, Das Modell wird mit sechs Basismodellen


What we see here is that when the governor is on the left, the tendency for the left conjunct to be shorter grows steadily, with the absolute difference in words, and the same is observed when there is no governor as in coordination of sentences.

dass das so ist, wenn der Gouverneur auf der Rückseite ist. Die Tendenz des linken Konjunktivs, kürzer zu werden, wächst stetig, mit dem absoluten Unterschied in den Wörtern, und dasselbe wird beobachtet,


Furthermore, most work in this space doesn't account for intersectionality, which is the notion that multi-faceted social identities can compound biases and be unique loci of harm.

Darüber hinaus rechnet die meisten Arbeit in diesem Bereich nicht mit der Intersektionalität, die die Idee beinhaltet, dass vielfältige soziale Identitäten Vorurteile kombinieren und einzigartige Opfer von Schaden sein können.


If we look at the main results of EDAtt, we'll plot the simultaneous speech translation results on graphs in which we have BLEU on one side that measures the translation quality, and average lagging that is the latency measure, and we also consider the computational aware average lagging that accounts for the model's computational times to predict the output.

Wenn wir uns die Hauptergebnisse ansehen, plotten wir die simultane Übersetzungsleistung in einem Diagramm, in dem wir auf einer Seite die Übersetzungsqualität blau und auf der anderen Seite die durchschnittliche Verzögerung d. h. die Latenzmessung messen. Wir berücksichtigen auch die computergesteuerte durchschnittliche Verzögerung. Daher möchten wir,


We address this by inducing the alignment as part of the training.

Wir beheben dies, indem wir die Ausrichtung als Teil der Ausbildung induzieren.


So some preliminary results demonstrate that first, language models do have varying political leanings.

Einige vorläufige Ergebnisse zeigen, dass erste Sprachmodelle unterschiedliche politische Bedeutungen haben.


For comparison, we also evaluated these conversations using three existing methods: Likert ratings on the turn-level, Likert ratings on the dialogue-level, and dialogue-level pairwise comparisons.

Zur Vergleich haben wir diese Gespräche auch mit drei bestehenden Methoden bewertet: Lickert-Bewertungen auf der Drehungsebene, Lickert-Bewertungen auf der Dialogebene und Dialogebene: Paarweisen Vergleiche.


In this work, we present the first systematic study of large language model prompting for machine translation.

In dieser Arbeit stellen wir die erste systematische Untersuchung des Großsprachmodells für die maschinelle Übersetzung vor.


To give you a teaser of the experimental results, here we compare our method with other treeless models on the COGS benchmark.

Um Ihnen einen Eindruck von den experimentellen Ergebnissen zu vermitteln, vergleichen wir unsere Methode mit anderen Treelers-Modellen auf dem Korg-Benchmark.


However, there is no large-scale publicly-available multi-modal instruction task.

es ist kein groß angelegtes öffentlich verfügbares Multimodal


So the minimal pair paradigm basically evaluates language models on top of acceptability judgments.

So bewertet das minimale Paar-Paradigma grundlegend Sprachmodelle über Akzeptanzurteile, die


Today I'm going to present our paper Do CoNLL-2003 named entity taggers still work well in 2023?

heute werde ich unseren Bericht präsentieren: Funktionieren die von Cornel 2003 benannten Entity-Tags noch gut im Jahr


Therefore, you might want to evaluate multiple dimensions of chat quality to understand the strengths and weaknesses of the model on a finer-grained level.

daher könnten Sie mehrere Dimensionen der Dialogqualität bewerten, um die Stärken und Schwächen des Modells auf einem höheren Niveau zu verstehen.


So, depending on context, the meaning of the word changes, and therefore its translation changes as well.

Daher ändert sich die Bedeutung des Wortes je nach Kontext, und daher ändert sich auch seine Übersetzung.


So we can do the same thing by choosing unacceptable sentences from the same matching, and that could also be used to test the models acceptability.

Also können wir dasselbe tun, indem wir inakzeptable Sätze aus der gleichen Übereinstimmung auswählen, und das könnte auch verwendet werden, um die Akzeptanz der Modelle zu testen.


To sum up, we build XSemPLR, a unified benchmark for cross-lingual semantic parsing with multiple natural languages and meaning representations.

Zusammenfassend bauen wir ein Beispiel, einen einheitlichen Benchmark für die Kreuzungssyntax mit mehreren natürlichen Sprachen und vielen Repräsentationen.


Ok, now I'm going to talk about multi-modal instruction tuning.

Okay, ich werde über Multimodale Anweisungstuning sprechen.


We hope our paper calls for more research on how to improve generalizations of the models.

Wir hoffen, dass unsere Arbeit weitere Forschungen darüber anregt, wie man die Verallgemeinerung der Modelle verbessern kann.


And vice versa, right-leaning language models are better at detecting hate speech targeting white and men, however worse at detecting hate speech targeting at black LGBTQ plus and other minority communities.

Und umgekehrt sind Rechtschreibmodelle besser, wenn es darum geht, weiße und männliche Sprache zu erkennen, aber schlechter, wenn es darum geht, schwarze, LGBTQ- und andere Minderheiten zu erkennen.


One based on the weight of CamemBERT and trained on a 4 GB set of NACHOS.

Einer basierte auf dem Gewicht von Camembert und trainierte auf vier Kilogramm von Natüron, ein anderer


For investigating multi-modal instruction tuning on our proposed dataset, we take OFA, a unified multi-modal pre-trained model, as our base model.

Um die Multimodalsteuerung auf unserem vorgeschlagenen Datensatz zu untersuchen, nehmen wir OFA als unser Basismodell;


After a long day at work deciding cases in a law court, he was happy to relax.

sie einen langen Tag mit dem Entscheiden von Fällen in einem Gerichtshof verbracht hatten. Er war froh, sich zu entspannen.


We compare this to the other state-of-the-art AL strategies that are commonly used in the community.

Wir vergleichen dies mit anderen State-of-the-Art-Strategien, die in der Gemeinschaft allgemein verwendet werden. 'Nein, danke.


High cognitive dissonance is also related to anxiety disorders and can help understand people's mental health better.

Hohe Konstitutionsunterschiede hängen auch mit Angststörungen zusammen und können helfen, das mentale Wohlbefinden der Menschen besser zu verstehen.


We hope the CoScript dataset can be a valuable resource to advance research on language planning.

Wir hoffen, dass CoScript eine wertvolle Ressource sein kann, um die Forschung zur Sprachplanung voranzutreiben.


So overall, we propose the first large scale multi-model instruction tuning dataset with significantly improved their short capability of OFA, and we explore different transfer learning technique and show their benefits.

Daher schlagen wir vor, ein erstes groß angelegtes Datenbanksystem für die Anpassung von Modellen zu erstellen, das die Fähigkeit der OFV erheblich verbessert und wir untersuchen verschiedene Techniken für die Übertragung von Lernfähigkeiten und zeigen ihre Vorteile.


And we can also do the same by choosing sentences from a different subset or a different data set.

Und wir können dasselbe tun, indem wir Sätze aus einem anderen Untermenü oder Datensatz auswählen, also das,


Existing cross-lingual semantic parsing models are separately proposed and evaluated on data set of limited tasks and applications.

so weiter. Bestehende Crosslingual-Semantik-Modellierungsmodelle werden separat vorgeschlagen und auf Datensätzen begrenzter Aufgaben und Anwendungen bewertet,


At the same time, if we do observe poor generalization, what causes the performance drop of these models?

wenn wir eine schlechte Generalisierung feststellen, was verursacht den Leistungsabfall dieser Modelle?


In recent years, many have documented the prevalence of social bias and stereotypes in large language models, or LLMs.

In den letzten Jahren haben viele die Prävalenzen von sozialen Vorurteilen und Stereotypen in großen Sprachmodellen dokumentiert.


Please read our paper for more details of our experiments.

Bitte lesen Sie unser Papier für weitere Details zu unseren


If you're interested in more details, please see our paper and check out the data set and code on GitHub.

Wenn Sie mehr Details interessieren, bitte sehen Sie sich unser Papier an und überprüfen Sie das Datensatz und den Code auf GitHub. ke


For example, there's only one single model to evaluate them.

Ibo, Yoruba, Afrikaans, Albanisch, Bosnisch, Serbisch, Kroatisch, Montenegrin, Maltesisch, Sardinisch, Katalanisch,


"Cumulative" accumulates all the data collected from active annotation so far, whereas "Iterative" updates the model by training on the latest set of data collected.

Daten, die aus aktiven Annotierungen gesammelt wurden, und Aktualisierung des Modells durch Training auf dem neuesten Satz von Daten,


To summarize, we showed that recent WSL approaches require clean, manually annotated samples for them to work properly.

Zusammenfassend zeigen wir, dass die neuesten WSL-Ansätze saubere, manuell annotierte Beispiele benötigen, um richtig zu funktionieren:


But it's also OK to say, "Marge read yesterday this absolutely fascinating book about bees."

über Bienen gelesen habe, ich sage, dass ich gestern March Read Yesterday, dieses absolut faszinierende Buch über


Hi, I'm Sara Papi from the University of Trento and Foundazione Bruno Kessler and I will briefly introduce the "Attention as a Guide for Simultaneous Speech Translation" paper, that is a joint work with Matteo Negri and Marco Turchi.

Hallo, ich bin Sera Pappi von der Universität von Trento und der Stiftung Bruno Kessler, und ich werde kurz die Aufmerksamkeit als Leitfaden für das Simultanübersetzungspapier vorstellen, das eine gemeinsame Arbeit mit Matteo Negri und Marco Turchi ist.


And we look forward to seeing how conversational AI will advance in the coming months and years.

und wir freuen uns darauf, zu sehen, wie sich die kognitive KI in den kommenden Monaten und Jahren weiterentwickelt.


Hi, I'm Shangbin, PhD student in the University of Washington.

„Ich bin Doktorand an der Universität von Washington.


On collecting around 1,000 examples of discourse unit pairs, we ran training for an initial classifier trained only on 43 examples of dissonance.

finden. Bei der Zusammenstellung von Tausenden von Beispielen für Diskussionseinheiten trainieren wir nur für die Klassifizierung


The difference observed is of more than one BLEURT points.

Die Differenz von SRF ist mehr als ein Blasenpunkt.


Finally, cognitive dissonance is important to understand personal cognitive styles of individuals and helps us understand decision making processes better.

Kognitive Distanz ist wichtig, um persönliche kognitive Stile von Einzelpersonen zu verstehen, und hilft uns, Entscheidungsprozesse besser zu machen.


We hope the CoScript dataset can be a valuable resource to advance research on language planning.

Wir hoffen, dass die Scriptsammlung eine wertvolle Ressource für die weitere Forschung zur Sprachplanung sein kann.


Lastly, the "Background-Inference" setting, where both knowledge types are available only at inference time.

Drittens gibt es die Hintergrundausrichtung, bei der beide Wissensarten nur in der Interventionszeit verfügbar sind.


I would like to present our work accepted into ACL 2023 as a long paper, "Transfer Learning for Dissonance Detection: Addressing the Rare-Class Challenge."

Ich würde gerne meine Arbeit als langes Papier mit dem Titel „Transfer Learning for Dissimilarity Detection“ vorstellen. Beginnend


Today I'm going to present our work "XSemPLR: Cross-Lingual Semantic Parsing in Multiple Natural Languages and Meaning Representations".

Heute werde ich meine Arbeit vorstellen: Beispiel: Cross-Linguistic Semantic Parsing in mehreren natürlichen Sprachen und vielen Darstellungen. Das


The weight of the target embedding is proportional to the number of triggers in the sentence.

Das Gewicht des Ziel-Embeddings ist proportional zur Anzahl der Trigger im Satz.


To answer the first question, we started by measuring how much a word depends on context during translation.

Um die erste Frage zu beantworten, beginnen wir damit, zu messen, wie stark ein Wort von dem Kontext während der Übersetzung abhängt.


We find that Dynahate is also most aligned to English speaking countries.

wir stellen fest, dass Dianet Heat ebenfalls am meisten mit englischsprachigen Ländern übereinstimmt.


However, with task-specific training, some models successfully integrate knowledge from multiple sources.

Allerdings können einige Modelle mit task-spezifischer Ausbildung erfolgreich Wissen aus mehreren Quellen integrieren.


Technically, this claim is not wrong, but there's a catch, which is that people do assume that there's an additional clean validation set available for model selection.

Technisch gesehen ist dieser Anspruch nicht falsch, aber es gibt einen Haken. Das heißt, dass die Menschen davon ausgehen, dass es eine zusätzliche saubere Validierungsmethode für die Modellauswahl gibt. Wir werfen


This is joint work with Xiaoyu Shen, Marius Mosbach, Andreas Stephan, and Dietrich Klakow.

Lernfähigkeit. Das ist eine gemeinsame Arbeit mit Shaul Usch, Mario Muzspara, Andreas Stefan und Dietrich Klakow.


At the same time, we also found that the performance drop here is caused by temporal drift and kind of surprisingly, it is not caused by adaptive overfitting even though CoNLL-2003 has been used for over 20 years.

Gleichzeitig haben wir auch festgestellt, dass die Leistungsabnahme hier durch zeitliche Drift verursacht wird und, was ziemlich überraschend ist, nicht durch adaptives Überpassen. Obwohl "Corne 2003" seit mehr als zwanzig Jahren verwendet


You can see how the combination of all ABC-Eval metrics explains over 25% of conversation quality, and as you remove the metrics one at a time, most of them result in losing a decent amount of information about the quality.

Sie können sehen, wie die Kombination aller ABC-EVA-Metriken über 25 Prozent der Gesprächsqualität erklärt und wenn Sie die Metriken einzeln entfernen, verlieren die meisten von ihnen einen guten Teil der Informationen über die Qualität. Auf


This is a joint work with John Gauthier, Aaron Mueller, Kanishka Misra, Karen Fences, Roger Levy, and Adina Williams.

dürfen. Es ist eine gemeinsame Arbeit mit John Gauthier, Aaron Mueller, Kaniška Mistrá, Káren Fuentés, Roger Levy und Adina Williams.


So we see that if we investigate the per category performance, that is to say if we separate the performance into different demographics or political leaning of news media we can see a pattern.

die Leistungskategorie untersuchen, das heißt, wenn wir die Leistung trennen. Unterschiedliche Demografien oder politische Nachrichtenmedien können zeigen, dass beispielsweise Sprachdetektionsmodelle bessere


In addition to this comparison, we introduced three models trained on continual pre-training to analyze the impact of pre-training strategy.

Zusätzlich zu diesem Vergleich führen wir drei Modelle des kontinuierlichen Trainings ein, um die Auswirkungen der Trainingsstrategie zu analysieren.


Mit einer taskspezifischen Schulung integrieren jedoch einige Modelle erfolgreich Wissen aus mehreren Quellen. Trotzdem


For data overfitting, we saw that from the graph on the right, the red best fit line has a gradient that is greater than one.

Bei der Anpassung der Überpassung haben wir festgestellt, dass die rote Bestpassungslinie auf der rechten Seite eine Steigung von mehr als eins hat.


And Cross-Lingual Semantic Parsing is the task to translate queries in multiple natural languages into multiple meaning representations.

Die Aufgabe besteht darin, Aussagen in mehreren natürlichen Sprachen in mehrere Bedeutungsrepräsentationen zu übersetzen.


The argument is based on the principle of dependency length minimization that I will explain on the basis of these examples.

Ok, das Argument stützt sich auf das Prinzip der Abhängigkeitslängenminimierung, das wir auf der Grundlage dieser Beispiele erklären. So


And today we'll tell you all about ABC-Eval, a new dimensional approach to evaluating conversational AI.

und heute werden wir Ihnen alles über ABC-Eval erzählen, einen neuen dimensionalen Ansatz zur Bewertung der konversationalen AI.


In summary, we establish the constrained language planning problem.

Zusammenfassend können wir sagen, dass wir das Problem der begrenzten Sprachplanung aufgestellt


For example, OpenAI offers a GPT based embedding API.

Zum Beispiel bietet OpenLayers eine GPX-basierte Einbettungs-API. Jedoch haben jüngste


So we get dependencies from the governor.


PaLM is a 540 billion-parameter large language model presented last year in 2022.

FARM ist ein 500-Milliarden-Parameter-Modell der großen Sprache, das im Jahr 2022 vorgestellt wurde.


The majority of sentences 516 out of 1,000.

Die Mehrheit der Sätze, sechzehn von tausend,


The second one is when the entities have similar titles, for example, two books with the name "The Return".

Die zweite ist, wenn die Entitäten ähnliche Titel haben, zum Beispiel zwei Bücher mit dem Namen „Der Retter“


We appy our method for building a dataset of constrained language planning, named as CoScript.

Wir planen unsere Methode für den Aufbau eines Datensatzes für die kontrollierte Sprachplanung, genannt „Codescript“.


Second, there's a "Background-Both" setting, where background knowledge is available both at pretrain time and inference time.

Zweitens gibt es eine Hintergrundbeleuchtung, wobei die Hintergrundwissen sowohl zu Trainingszeiten als auch zu Interferenzzeiten verfügbar sind;


But that's not the end of the story, because if we either way decide to access clean samples, then training on them directly will even achieve better performance.

Aber das ist nicht das Ende der Geschichte, denn wenn wir uns entscheiden, saubere Proben zu verwenden, wird das Training damit sogar noch bessere Ergebnisse erzielen.


So here we have a dependency from "read" to the adjunct of length 7 measured in words and from "read" to "book" of length 4, so together it's 11.

haben wir eine Abhängigkeit von red zu dem Ende von length sieben gemessen in Wörtern und von red zu book von length vier, also zusammen elf, wenn


This figure shows the constraint distribution of CoScript.

Diese Abbildung zeigt eine eingeschränkte Verteilung von CoScript.


A Data-driven, Multilingual Exploration".

- a data-driven multilingual exploration' vorstellen.


The heat map in the figure shows that the planning performance of InstructGPTs varies considerably for goals of different categories.

die Karteikarte zeigt, dass die Planungsleistung von Unterrichtseinrichtungen für Mädchen unterschiedlicher Kategorien beträchtlich variiert.


For example, "the one without words", "not the one with the 12 year old boy", or "the fictional one", or "comes from Azerbaijan", and so on.

zum Beispiel die ohne Worte, nicht der mit dem zwölfjährigen Jungen, oder die fiktive, die aus Aserbaidschan kommt und so weiter.


But these models are not much better than models that do not use context on other phenomena like ellipsis, pronouns, and verb form.

diese Modelle sind nicht viel besser als die Modelle, die keine Kontexte auf anderen


So for the training dataset, we use 53 tasks from 9 groups for training and we sample 10,000 instances per task.

Für das Trainingsdatenset verwenden wir fünfunddreißig Aufgaben aus der N-Gruppe für das Training und beispielhaft zehntausend Instanzen


In addition, we randomly sample 20 tasks from the test split of natural instructions as an unseen task for NLP.

jede Aufgabe; zudem nehmen wir zufällig eine Aufgabe aus dem Testset der natürlichen Anweisung als unsichtbare Aufgabe für den NLP.


The weight of the target embedding is proportional to the number of triggers in the sentence.

Das Gewicht des Ziel-Embeddings ist proportional zur Anzahl der Trigger im Satz.


So for example, the words describing Latina women include things like "vibrant" and "curvaceous" which connect to a trope of tropicalism.

der Farbe, wie zum Beispiel die lateinische Frau, die lebendig und lebhaft ist.


But Chinese is missing and lack of coverage on certain meaning representation.

Usbekisch, Kirgisisch, Mongolisch, Tibetisch, Nepali, Bengali, Marathi, Gujarati, Telugu, Tamil,


Was ist mit der Temperaturdiffusion? Für


So for GPT 4, in the social acceptability task, we find that it's most aligned to people with a college education or Graduate School education and we find the same for Dynahate where it's most aligned to people with a college education.

eine Hochschulausbildung haben, so dass für die Aufgabe der sozialen Eingängigkeit vier GBD finden, dass es die meisten Verbindungen mit Personen mit einer Hochschulausbildung oder einer Abschluss-Hochschulausbildung gibt. Und wir finden das Gleiche für Donny Haide, wo es den Menschen mit einer Hochschulbildung am meisten zusagt.


Tweets were passed using the PDTB parser, and pairs of discourse units were annotated according to the guidelines that are described in our paper.

Die Tweets wurden unter Verwendung eines PTB-Parsers und Paare von Diskurs-Einheiten gemäß den Richtlinien, die im Papier beschrieben sind, analysiert.


So führen wir auch ein Experiment durch,


If you want to discover more results, read our paper.

Wenn Sie mehr Ergebnisse entdecken möchten, lesen Sie unser Papier,


So for the GPT 4 social acceptability analysis, we find that it's most aligned to confucian and English speaking countries.

dass für die Analyse der sozialen Akzeptabilität der GPD 4 festgestellt wird, dass es am meisten mit Konflikt und englischsprachigen Ländern übereinstimmt, und


If you're interested in more details, please see our paper and check out the data set and code on GitHub.

Wenn Sie mehr Einzelheiten erfahren möchten, sehen Sie sich bitte unser Paper und den Datensatz auf GitHub an.


And while it sounds positive at first glance, there's been work showing that this kind of archetype actually is very harmful because it puts a lot of pressure on these demographics to be resilient and strong against societal obstacles.

und klingt auf den ersten Blick positiv. Es hat sich gezeigt, dass diese Art von Archetypus eigentlich sehr schädlich ist, weil sie viel Druck auf diese Demografien ausübt, um widerstandsfähig und stark gegen soziale Hindernisse zu sein.


And what are the problems of the current SimulST models?

Und was sind die Probleme der aktuellen SimulS-Modelle?


Unser Rahmenwerk funktioniert in zwei Hauptstufen.


We've then compared these, annotations with Social Chemistry, Delphi and GPT 4.

Wir vergleichen dann diese Anmerkungen mit Social Chemistry, Delphi und GPT-4. Wir wiederholen


For temporal drift, we did an experiment to retrain or continue to pre-train some models with more recent data and we found that the performance degrades with larger temporal gap and this confirms our hypothesis that the main cause of the performance drop is temporal drift.

die zeitliche Drift haben wir ein Experiment durchgeführt, um einige Modelle mit neueren Daten neu zu trainieren oder weiter zu pre-trainieren, und wir haben festgestellt, dass die Leistung mit größeren zeitlichen Lücken abnimmt. Dies bestätigt unsere Hypothese, dass die Hauptursache für den Leistungsabfall die zeitliche Drift ist.


Our data set collection methodology emphasizes informality using a cartoon completion setup.

Unsere Datensatzsammlungsmethode betont die Informalität mit einem Cartoon-Completion-Setup.


And after doing like several of these perturbations, we find that none of these noises are actually making the model like change its course in terms of how it shows us the MPP judgement print.

„Lärm“ zu versehen, und nachdem wir viele dieser Störungen durchgeführt hatten Wir stellen fest, dass keiner dieser Geräusche tatsächlich den Modellverlauf in Bezug auf die Art und Weise, wie es


Hier ist ein Link zu unseren Datensätzen.


If it's a multi-modal generation task, we report Rouge-L. For NLP task, we report Rouge-L as well.

es sich um eine multimodale Generierungsaufgabe handelt, berichten wir über RUGL, und für NPR-Aufgaben berichten wir auch über RUGL.


Firstly because only a small portion of translations depend on context which makes corpus-level metrics like BLEU unable to capture these translations.

ist jedoch ziemlich schwer: Erstens, weil nur ein kleiner Teil der Übersetzungen vom Kontext abhängt, was Korpus-Ebenen-Metriken wie Blue daran hindert, diese Übersetzungen zu erfassen. Und


This again demonstrates that it is difficult to determine the best document-level translation system if we use corpus-level metrics alone.

Dies zeigt, dass es schwierig ist, das beste Dokumentenverarbeitungssystem zu ermitteln, wenn man die Korpus-Metrik verwendet. Jetzt


I mean, we want to emphasise that inclusive NLP isn't just making.

ist die Maska-Initiative. Ich möchte betonen, dass inklusives P nicht nur für alle


So when the difference between the lengths of the two conjuncts grows, the shorter conjunct prefers to be the first one, stronger, right?

also der Unterschied zwischen den Längen der beiden Konjunktionen groß ist, dann ist der kürzere Konjunkt die erste stärkere, also ist


And finally when they have similar info boxes or attributes on Wikipedia.

und schließlich, wenn sie ähnliche Infoboxen oder Attribute auf Wikipedia haben,


And when we go, as in our case, to five-shot prompting, there is nearly no difference to the actual form of the prompting.

wenn wir in unserem Fall zum Schießen gehen, gibt es fast keine Unterschiede zur tatsächlichen Form des Schießens. Es


When you swap these two constituents, the sum of these two dependencies becomes 6.

Sie diese beiden Konstituenten verschieben, dann werden einige dieser beiden Abhängigkeiten zu


On the other hand, the combination of all turn-level Likert metrics explains far less of the quality, and fewer of these metrics carry unique information.

der anderen Seite erklärt die Kombination alternativer Lickert-Metriken viel weniger der Qualität und weniger dieser Metriken tragen einzigartige Informationen.


So for instance, the word "warrior" is usually associated with men.

So ist das Wort „Mann“ oder „Krieger“ normalerweise mit „Mann“ verbunden,


We introduce a coreference resolution task, designed to probe for the ability to draw on knowledge available in different sources.

Wir führen eine Korrelationsanalyse durch, die darauf ausgelegt ist, die Fähigkeit zu bewerten, auf Wissen in verschiedenen Quellen zuzugreifen.


Furthermore, there's a lot of common tropes that are reflected in these words, especially for women of color.

Und noch mehr sind die vielen Gemeinsamkeiten, die in diesen Wörtern enthalten sind, insbesondere für eine


At the same time, we also found that the performance drop here is caused by temporal drift and kind of surprisingly, it is not caused by adaptive overfitting even though CoNLL-2003 has been used for over 20 years.

Gleichzeitig stellten wir auch fest, dass der Leistungsverlust hier durch zeitliche Schwankungen verursacht wird, und überraschenderweise ist er nicht durch adaptiven Überdrehungskoeffizienten verursacht, obwohl der Cornal 2003 seit über zwanzig Jahren verwendet wird.


For example, for RoBERTa further trained on the left-leaning Reddit corpus we can see a substantial liberal shift in terms of its political biases.

Zum Beispiel können wir für Roberta, die eine weiter gefällige Stimme hat und weiter auf dem linken Korpus trainiert ist, einen wesentlichen liberalen Wandel in ihrer Stimme sehen. In Bezug auf seine politischen Überzeugungen.


As we can see, instruction tuning can significantly improve OFA's performance on seen multi-modal tasks.

wie wir sehen können, dass die Anpassung der Anweisungen die Leistung von OIS auf ähnlichen Multimodal-Aufgaben erheblich verbessern kann.


Now those are asymmetric approaches to coordinate structures, such as the Prague approach.

symmetrischen Ansätze für Koordinatenstrukturen, wie z. B. der


First, we look at part-of-speech tags that have high mean P-CXMI.

Zunächst sehen wir uns die Sprachetiketten an, die hohe Minen haben, wie z.B.


Here, a user wants to select between one of these two songs.

Hier möchte ein Benutzer zwischen zwei dieser beiden Lieder wählen.


We then use the MuDA tagger, by applying the tagger on a parallel corpus that we want to use for evaluation and we apply our translation metrics of choice on the context-dependent examples that the MuDA tagger has identified.

haben. Dann verwenden wir den Muta-Tagger, indem wir den Tagger auf das parallele Korpus anwenden, das wir für die Bewertung verwenden möchten. Und wir wenden unsere Übersetzungsmetriken zur Auswahl auf die kontextabhängigen Beispiele an, die der Modus-Tagger identifiziert hat.


Then we jump to the next multiset token, to determine the second token in the output.

Dann springen wir zum nächsten Multiset-Token, um den zweiten Token im Output zu bestimmen.


Hello everyone, my name is David Vilar, and I will be giving a short review of the paper "Prompting PaLM for Translation: Assessing Strategies and Performance."

Hallo, mein Name ist Said, und ich werde eine kurze Übersicht über das Papier „Translation, Assessing Strategies and Performance“ geben.


This connects to an archetype that people have called the "Strong Black Women" archetype.

Dies verbindet sich mit einem Archetyp, den die Menschen als den starken schwarzen Archetyp bezeichnet haben,


But also we want that they are shifted on the left.

Aber auch wir wollen, dass sie auf die linke Seite versetzt werden


We increase the context length toward up to 1024 for to max out OPT and GPT 2 models.

Wir verlängerten den Kontext auf bis zu 10.000, um die OPT- und GPT-2-Modelle zu maximieren, und


Otherwise, there is a large performance drop.

Ansonsten gibt es einen großen Leistungsabfall,


In addition, ABC-Eval labels are more predictive of the overall conversation quality compared to metrics produced by existing methods, as shown by this simple linear regression analysis.

Darüber hinaus sind ABC-EV-Labels im Hinblick auf die Gesprächsqualität der Gesamtkommunikation vorhersagbarer als Metriken, die von existierenden Methoden erzeugt werden, wie es durch diese einfachen linearen Regressionen gezeigt


We can't stop on this problem setting, but this implies that additional manual annotations are required in weakly supervised learning.

Validierungsset gibt. Wir haben Zweifel an dieser Problemstellung, aber das impliziert, dass zusätzliche manuelle Anmerkungen beim Erlernen von Wikis erforderlich sind,


But sometimes an indirect reference is more appropriate to have a more natural conversation.

erste. Aber manchmal ist ein indirekter Hinweis angemessener, um eine natürlichere Unterhaltung zu haben;


One approach is to simply ask human judges to evaluate several dimensions of dialogue quality, such as the relevance of model responses using existing comparative or Likert scale methods.

Eine Möglichkeit besteht darin, einfach Menschen zu bitten, mehrere Dimensionen der Dialogqualität zu bewerten, wie die Relevanz der Modellantworten, mithilfe bestehender vergleichender oder Likert-Skala-Methoden.


Finally, we provide some recommendations for prompt selection strategies.

geben wir einige Empfehlungen für prompte Auswahlstrategien. Die Stimulierung


Our prompts to generate these personas were inspired by a study where they gave these prompts to human subjects, finding that by giving it to human subjects, they also were able to surface racial stereotypes.

Unsere Proben, die diese Persönlichkeiten hervorbrachten, wurden von einer Studie inspiriert, in der diese Proben an menschlichen Subjekten getestet wurden, wobei festgestellt wurde, dass sie auch rassenspezifische Stereotypen aufweisen. Und


And then the hope is that the model, basically, puts more probability to the acceptable sentence.

dann hofft man, dass das Modell im Wesentlichen mehr Wahrscheinlichkeit für den akzeptablen Satz hat. Die derzeitige Pipeline


Now, what happens when we choose sentences from the same data set?

Was passiert nun, wenn wir Sätze aus dem gleichen Datensatz auswählen?


So it's important to select the examples from high-quality translations.

ist also wichtig, Beispiele aus hochwertigen Übersetzungen auszuwählen,


We design a new metric called sensitivity.

Wir entwerfen ein neues Maß, das Sensitivity genannt wird.


Therefore, in this paper we propose Embedding marker, which is a backdoor based watermark method applicable to embedding as services.

schlagen wir in dieser Arbeit eine Implementierungsmarker vor, die eine Backdoor-basierte Wasserzeichenmethode ist, die auf die Implementierung von ADS-Diensten anwendbar ist.


Hello everyone, I'm Akshatha, and today my co-author Martin and I are presenting our work "The KITMUS Test: Evaluating Knowledge Integration from Multiple Sources."

Hallo alle, ich bin Amratha Mathew und ich präsentiere heute meine Arbeit, die KIT Masterclass: Evaluierung der Wissensintegration aus mehreren Quellen.


A good planner should write scripts that are reasonable and faithful to constraints.

Ein guter Planer sollte Skripte schreiben, die vernünftig und den Einschränkungen treu sind.


Simply put, cognitive dissonance is two beliefs or actions that are inconsistent, such as this example where a person states, "I know that cigarettes could kill me", and then goes on to say "I grabbed a couple of smokes after the meeting".

studieren, ist kognitive Dissonanz einfach zwei Überzeugungen oder Handlungen, die inkonsistent sind. Dieses Beispiel zeigt, dass ich weiß, dass die Zigaretten mich umbringen würden, und dann sage ich, dass ich nach dem Treffen ein paar Rauchpausen einlegen würde.


Our solution is to propose EDAtt, or Encoder-Decoder Attention, and it is a strategy for which we decide whether to emit or not a partial translation, based on where attention points to.

Unsere Lösung besteht darin, einen EDA- oder einen Encoder für die Codierung der Aufmerksamkeit zu vorschlagen, und es ist eine Strategie, bei der wir entscheiden, ob wir eine partielle Übersetzung senden oder nicht, basierend auf der Position der Aufmerksamkeit.


And we saw here in the orange dotted line, the MPP judgments are relatively stable.

wir sahen hier in der orangefarbenen Zeile, dass die MPP-Urteile relativ stabil sind.


So we can do the same thing by choosing unacceptable sentences from the same matching, and that could also be used to test the models acceptability.

hinzufügen. Daher können wir dasselbe tun, indem wir unannehmbare Sätze aus demselben Matching auswählen, und das könnte auch verwendet werden, um die Akzeptanzfähigkeit der Modelle zu testen.


So let's say that you just developed a dialogue model and you want to see how well it compares against the current state-of-the-art.

Sie uns also sagen, dass Sie gerade ein Dialogmodell entwickelt haben und sehen möchten, wie gut es mit dem aktuellen Stand der Technik vergleichbar


Additional experiments with fictional knowledge indicated even the best performing models, cannot reliably integrate backward knowledge provided only at inference time.

Zusätzliche Experimente mit fiktivem Wissen zeigen, dass selbst die besten Modelle das Hintergrundwissen, das ihnen zur Verfügung gestellt wird, nicht zuverlässig integrieren können.


And finally when they have similar info boxes or attributes on Wikipedia.

und schließlich, wenn sie ähnliche Infoboxen oder Attribute auf Wikipedia haben,


So, given that there is positionality in NLP, what can we do about it?

Heat Task Analysen. Also, was können wir tun, wenn


So this measures the model's ability to consistently produce the same outputs for the same task regardless of the slight variation in the wording of the instruction.

die Fähigkeit des Modells misst, unabhängig von geringfügigen Abweichungen in der Anweisung immer die gleichen Ergebnisse für die gleiche Aufgabe zu liefern. Hier sind unsere Hauptergebnisse, wie man sieht, kann die


I'm Jenny, a first year PhD student at Carnegie Mellon University and today I'll be presenting your work NLPositionality characterising design biases of datasets and Models.

Jenny, Studentin im ersten Jahr an der Universität Karnegi-Mellon, und werde heute meine Arbeit und ihre Position beschreiben, indem ich Datenmodelle erstelle.


When trained on KITMUS, however, both C2F and BERT4Coref perform significantly better than the random choice.

nicht gut. Das Training auf dem Kidmus hingegen ist bei beiden Modellen signifikant besser als die zufällige Wahl.


And what are the problems of the current SimulST models?

sind die Probleme der aktuellen Simulink-Modelle?


Hello everyone, my name is Yusen Zhang from the Penn State University.

Hallo alle, mein Name ist Usain John von der Universität von Pennsylvania.


For the first time, we show strong generalization to deeper recursion without relying on trees.

Zum ersten Mal zeigen wir eine starke Generalisierung zu tiefer Rekursion ohne auf Bäume zurückgreifen zu müssen.


So "Marge read it yesterday" is fine because the direct object is close to the verb, while "Marge read yesterday it" is much worse.

is close to the verb.“ Während es gestern Abend viel schlimmer war, ist es heute viel besser, weil


However, when we actually look at the distribution of the words and lexicon, we find very different things.

wir verwenden. Wir finden jedoch sehr unterschiedliche Dinge, wenn wir uns die Verteilung der Wörter im Lexikon ansehen. Also haben


But then if we use COMET, context-aware models perform best.

haben. Dann verwenden wir jedoch Comet, kontextbewusste Modelle, die am besten funktionieren,


Then let me introduce the details of our embedding marker.

Dann lassen Sie mich die Einzelheiten unseres eingebetteten Markers erläutern.


This indicates that WSL approaches actually require cleanly labeled data to work properly, and the annotation cost for obtaining clean validation samples should not be overlooked.

Dies zeigt, dass WSL-Ansätze tatsächlich sauber gekennzeichnete Daten erfordern, um ordnungsgemäß zu funktionieren, und dass die Anmerkungskosten für die Erlangung sauberer Validierungsbeispiele nicht vernachlässigt werden sollten.


As shown in this figure, if there are no clean validation samples, then the trained models cannot generalize beyond the original weak labels, meaning that the training is pointless.

wie in dieser Abbildung zu sehen ist. Wenn es keine sauberen Validierungsmuster gibt, können die Trendmodelle nicht über die ursprünglichen Bit-Etiketten hinaus generalisiert werden. Das bedeutet, dass diese Doktrin sinnlos ist.


Finally, we can choose sentences from a completely unrelated domain such as Wikipedia.

Schließlich können wir Sätze aus einer völlig unabhängigen Domäne wie Wikipedia auswählen.


However, recent works have shown that the attacker may steal the model through learning from the embedding and provide similar services.

Arbeiten gezeigt, dass der Angreifer das Modell durch das Lernen vom Embedding stehlen und ähnliche Dienste anbieten kann.


So we get dependencies from the governor.

so dass wir von der Regierungsstruktur Abhängigkeiten erhalten, die


So for instance, for the personas of black women, we would do Fightin’ Words and compare the log-odds ratios against both white personas and man personas because those are the two corresponding unmarked groups.

Zum Beispiel für die Persönlichkeiten der schwarzen Frauen werden wir Wörter sammeln und die Logod-Ratios für beide weißen und männlichen Persönlichkeiten vergleichen, weil es sich um zwei nicht markierte Gruppen handelt.


We follow the method from OFA and formulate all the tasks in a unified sequence-to-sequence format.

folgen wir der Masterform von OFA und formulieren alle Aufgaben in einer vereinheitlichten Sequenz-zu-Sequenz-Format.


We host 2 tasks on lab in the wild, one of them being social acceptability, and the way this works is that participants will read a situation from the social chemistry dataset and, then they'll write how socially acceptable a situation is.

und die Art und Weise, wie diese Arbeit ist, dass die Teilnehmer eine Situation aus der Sozialchemie erhalten und wie sozialverträglich diese Situation ist.


Hi, I'm Shangbin, PhD student in the University of Washington.

Hallo, ich bin John Bin, Doktorand an der University of Washington.


For example, Encoder-Decoder outperforms previous work or achieves comparable results.

zum Beispiel Encoder-Decoder-Modelle, die vergleichbare Ergebnisse


We use all the instances in the test split for each task.

die Prüfung aus. Wir verwenden alle Instanzen im Test für


And we can also do the same by choosing sentences from a different subset or a different data set.

Und wir können dasselbe auch erreichen, indem wir Sätze aus einem anderen Satz oder einem anderen Datensatz auswählen.


As usual, we have a training set of utterances.