Zusammenfassung Im primären visuellen Pfad wird Information in zwei getrennten, komplementären Domänen repräsentiert, den on- und off-Zellen. In dieser Arbeit untersuchen wir die Interaktion von on- und off-Zellen zur Generierung der Eingabe für eine kortikale Einfachzelle. Basierend auf physiologischen Studien schlagen wir einen Mechanismus vor, bei dem eine kortikale Einfachzelle aus beiden Domänen eine Eingabe erhält, wobei die Eingabe aus dem opponenten Pfad stärker gewichtet wird. Mit diesem Mechanismus der dominanten opponenten Inhibition können Antworten von kortikalen Einfachzellen auf Hell- Dunkel-Balken simuliert werden, die im primären visuellen Kortex der Katze gemessen wurden. Bei der Verarbeitung synthetischer und natürlicher Bilder können mit dem neuen Modell schärfere Antworten und bessere Rauschunterdr ückung erreicht werden. Wir geben eine stochastische Analyse der Rauschunterdrückungscharakteristika des vorgeschlagenen Mechanismus und präsentieren detaillierte numerische Simulationen mit systematischen Parametervariationen. Die Resultate zeigen, dass das Modell kortikaler Einfachzellen mit dominanter opponenter Inhibition robuster gegenüber verrauschten Eingaben wird, weitgehend unabhängig von der Stärke des Rauschens. Diese Eigenschaft ist möglicherweise der Grund für die physiologisch gemessene dominante Inhibition und für die Repräsentation von Kontrastinformation in zwei komplementären Domänen. Basierend auf diesen Ergebnissen stellen wir die Hypothese auf, dass dominante opponente Inhibition im visuellen System verwendet wird, um in verrauschten Umgebungen Kontraste robust extrahieren zu können.
Summary Open learning environments support on the one hand a constructive approach to potentially open tasks and on the other hand social interaction by means of distributed systems. Beyond that they enable a detailed data acquisition and thus the focusing on the process of interaction in groups. On the basis of a distributed system with shared workspaces and structured visual representations, an approach has been developed for the analysis of collaboration on the basis of group interactions ( action based collaboration analysis ). This approach was implemented in a system for the automatic analysis of group interactions which uses formalizations of interaction events in predicate logic as indicators for action sequences. Tests with different groups of participants indicate the applicability of the approach and give first insights into cooperations and conflicts in shared problem solving situations.
Summary Two new research programs which are funded by the German Science Foundation are aimed at establishing cognitive media psychology in Germany. The main question of the thematic research program “Net-based Knowledge Communication in Groups” concerns the new forms of communication using net-based technologies and their effective use for the exchange and acquisition of knowledge. Similar questions are posed by the virtual Ph.D. program “Knowledge Acquisition and Exchange with New Media”. In contrast to other Ph.D. programs in German this one is not located at a specific place, but distributed over several research institutions all over the country. This setting enables students to collaborate with other tutors and students at the different locations.
Summary Knowledge acquisition in collaborative problem solving is mainly realized by two activities: (1) when participants mutually impart their knowledge and (2) when they elaborate their knowledge together. Both activities are favoured by differences in the participants’ prior knowledge. To support this thesis, an experimental study and a cognitive simulation are described. In the study, pairs of students were systematically taught complementary knowledge about qualitative resp. quantitative aspects of classical mechanics. During the subsequent collaborative problem solving the students successfully exchanged information about their complementary knowledge. Students who had been taught knowledge about qualitative aspects of physics gained more from their partners than students who had been taught knowledge about quantitative aspects. A cognitive model simulates problem solving and learning under the conditions set up in the study. In a simulation study based on the cognitive model it was possible to reconstruct the main results of the experimental study. Finally, the role of dialogue analysis and external representations are discussed and conclusions for the design of computer systems supporting collaborative problem solving are drawn.
Summary Language is a versatile instrument in co-operatively solving a construction task. In order to understand instructions given during such a task, objects have to be identified and the type of action to be performed has to be determined. The experiments presented show that the way in which objects and actions are conceptualized depends on the linguistic and the non-linguistic, visually available context. Both kinds of information are processed incrementally in an integrative way. The impact of relevant factors, such as the specificity of verbs and object namings, object properties such as color, size, location and the dynamically determined class to which the object belongs was studied. Conclusions for models of language understanding and language production are drawn and requirements for a grammatical formalism suitable for incremental and integrative processing are formulated.
Summary In this contribution, we present the “visual system” of an artificial communicator, which enables the communicator to recognize objects (wooden toy pieces) in camera images. It is based on a hybrid approach, which applies artificial neural nets for a holistic representation of low level knowledge. The transition to the symbolic level is realized using a semantic network as a knowledge base containing explicit object models. In the next processing step, the information extracted from single images is integrated by a scene memory to a representation suitable for the artificial communicator. On the one hand, the memory stabilizes the data extracted from static scenes, on the other hand it realizes an efficient representation of changing scenes calculating the “difference”. By these means, other modules of the communicator working on different time scales can access the scene information interactively, which is the prerequisite for a dialogue with the user.
Summary An important scientific method within cognitive science consists in the synthesis of cognitive abilities, of forms of behavior by developing specific artificial agents. Many current approaches make use of the notion of an agent in order to develop concepts of cognitive behavior on different levels of abstraction. Basic properties of agents are: reactivity, autonomy, goal directed activity, and communication. This contribution examines the communicative aspect, i.e. the interaction by gesture or language and their integration, e.g. in identifying referents. Since we conceive communicating agents as systems able to synthesize such interactions as well as their integration, this will be illustrated with respect to two artificial systems. The GRAVIS system detects objects as well as pointing gestures of an instructor, and the camera agent is able to focus on specific objects. The CoRA system processes situated natural language instructions, and the simulated robot agent is able to integrate the use of language, perception and action. Finally we propose an integration of both approaches.
During the years 1994 to 1997, 20 European scholars from psychology, educational science and computer science participated in a series of workshops on collaborative learning. This experience revealed various differences in the way collaborative learning is understood in psychology and in distributed artificial intelligence. The main difference concerns the mechanisms by which agents detect and repair misunderstandings in order to progressively build a shared understanding of the task at hand and its solution. These mechanisms could become a priority item on the research agenda that bridges the disciplines.
Summary Desktop video conferencing enables learners to cooperate while being spatially apart, and to communicate synchronously while working on a collaborative task. Yet, little is known about both the collaborative knowledge construction in these technological settings and the adequate methods of supporting this activity. Therefore, we conducted an empirical study with the following research questions: (1) To what extent does the mode of dyadic collaboration (net-based vs. face-to-face) and the kind of structural support (content-specific vs. content-unspecific) influence the collaborative knowledge construction? (2) To what extent do these factors influence both the individual learning outcomes and the dyadic divergence of learning partners’ individual outcomes? Analyzing mean values of collaborative knowledge construction and learning outcome variables, we did not find differences between face-to-face and videoconferencing groups. However, the dyadic divergence of learning partners’ individual transfer knowledge was influenced by the learning conditions. The results of this exploratory study are discussed in their relevance for future research on cooperative learning and videoconferencing.
Summary ‘Coordination’ as used here is understood in the following way: Agents solve problems in on-going dialogue under mutual control and according to stable, well-understood patterns. In task-oriented dialogue the social frame for coordination is fixed. The need for coordination among agents arises because of differences in information, the dominant dialogue pattern ‘directive — reply’, and because of incompatibilities with respect to speakers’ ontologies, language variation and agents’ focus management. We discuss three dialogue examples showing coordination in some detail. In all of them the coordination problem is solved via a side sequence. Side sequences can be implemented either as autonomous dialogue contributions or they can be fused into the utterances they start from. Grammars treating ‘syntax-in-dialogue’ and, above all, side sequences, have to meet several constraints: They must describe various forms of extraposition to the right and long distance dependencies, produce and analyse by increments, and shift from production to reception and vice versa. All these patterns will be of relevance for the man-machine-interaction focused upon in the research unit „Situated Artificial Communicators“. It is suggested to set up the theory of grammar needed to accomplish all that within a theory of n-Person Cooperative Games.
Summary In this article we describe a Situated Artificial Communicator for assembly tasks. The main components of the system we are developing are a speech understanding module and a two-arm-robot module. The robot system can be instructed using spontaneous speech. The speech understanding module is based on Combinatory Categorial Grammar , which makes incremental and interactive speech understanding possible. The robot module is provided with multiple sensors and it masters complex assembly operations like peg-in-hole or screwing a nut into a bolt. The architecture and the underlying cognitive principles enable interactive processing that depends on the actual situation and allows the system to take advantage of redundant items of information. Due to these principles our Situated Artificial Communicator is highly robust.
Die von Prince, Smolensky und anderen entwickelte Optimalitätstheorie (OT) hat ihre Fruchtbarkeit in den Bereichen Phonologie, Morphologie und Syntax zulänglich bewiesen. Der Versuch, die auf diesen Gebieten erarbeiteten Grundideen auf die Semantik/Pragmatik-Schnittstelle anzuwenden, führt zwingend auf das Konzept einer bidirektionalen OT. Der Hauptgrund für die Annahme von Bidirektionalität (Kombination von interpretativer und expressiver Optimierung) ergibt sich vor allem daraus, dass im genannten Bereich eine Reihe von Phänomenen existieren, die einerseits die Behandlung von vorgezogenen Interpretationen verlangen und andererseits zur Berücksichtigung von Blockierungseffekten auffordern. Die vorliegende Arbeit gibt eine allgemeine Motivation für Bidirektionalität, untersucht die Wirkungsweise von Bidirektionalität im Bereich der Pragmatik (konversationelle Implikaturen) und gibt eine Übersicht über potenzielle Anwendungen.
Der Beitrag beschreibt einen neuartigen Ansatz zur Strukturanalyse natürlicher Sprache auf der Basis gewichteter Constraints. Unter völligem Verzicht auf eine generative Regelkomponente werden jegliche Bedingungen an die Wohlgeformtheit einer sprachlichen Struktur mit Hilfe von Constraints ausgedrückt. Constraints sind grundsätzlich verletzbar und daher auch in der Lage, widersprüchliche Forderungen der Grammatik zu tolerieren. Über zusätzliche Repräsentationsebenen können sehr unterschiedliche linguistische Phänomenbereiche in die Modellierung einbezogen werden und so ihren spezifischen Beitrag zur Ermittlung der plausibelsten Interpretation einer Äußerung leisten. Für ein derartig definiertes Parsingproblem existieren verschiedene Lösungsverfahren, deren Eigenschaften insbesondere im Hinblick auf mögliche Parallelen zur menschlichen Sprachverarbeitung diskutiert werden. Im Mittelpunkt steht dabei die Robustheit gegen abweichende Äußerungen, sowie gegen zeitlichen Verarbeitungsdruck.
„The other side of mental models: theories of language comprehension„ lautet der Titel eines Aufsatzes von Garnham (1996). Der anderen Seite eine Seite ist das schlußfolgernde Denken (siehe Untertitel von Johnson-Laird, 1983). Sowohl das schlußfolgernde Denken als auch das Sprachverstehen wird im Rahmen der Theorie mentaler Modelle eingehend untersucht. Doch erscheint uns in beiden Gebieten weitgehend unabhängig voneinander geforscht und die Medaille mentales Modell von nur je einer Seite betrachtet zu werden. Anhand des räumlichen Schließens werden wir argumentieren, daß sich bei Prämissen, die eine bestimmte räumliche Anordnung beschreiben, das Inferieren der Konklusion auf das Sprachverstehen reduziert, nämlich die Konstruktion eines einzelnen mentalen Modells; eine gezielte Variation der mentalen Modelle zur Evaluation einer möglichen Schlußfolgerung findet nicht statt. Der wesentliche Prozeß beim räumlichen Schließen ist daher die Integration der Information aus mehreren Prämissen zu einem mentalen Modell. Über die Prozesse der Prämissenintegration geben Figureffekte Aufschluß, die auf mitunter konfligierende Prinzipien der Modellkonstruktion verweisen. Wir enden mit dem Ausblick darauf, daß bei der Untersuchung der Prämissenintegration beim räumlichen Schließen der Prozeß der Anaphernresolution stärker berücksichtigt werden sollte.
Die Verarbeitung von Sprache beinhaltet häufig die Lösung von lokalen Konflikten, die dadurch entstehen, dass gleichzeitig miteinander nicht vereinbare Prinzipien oder Präferenzen interagieren. In dem vorliegenden Aufsatz werden auf der Basis empirischer Befunde, die mittels zeitlich hochauflösender Methoden erhoben wurden, unterschiedliche Aspekte dieser Konfliktlösung vorgestellt und diskutiert. Als Ausgangspunkt wird gezeigt, dass die Konfliktlösung eine Funktion der zeitlichen Zugänglichkeit der jeweiligen kritischen Informationen ist. Darüber hinaus gestatten experimentelle Studien die Annahme, dass Informationen unterschiedlicher sprachlicher Domänen miteinander interagieren, wenn diese gleichzeitig aktiviert werden können. In einem abschließenden Teil wird das Zusammenwirken globaler und lokaler Konfliktlösungsstrategien vorgestellt und es wird gezeigt, dass Mechanismen der Online-Verarbeitung durch globale Präferenzen korrigiert werden können bzw. aus einer Gesamtsatzperspektive verdeckt werden.
Dieser Aufsatz skizziert wichtige Aspekte der Optimalitätstheorie, die in der theoretischen Linguistik erhebliche Bedeutung erlangt hat. Sie stellt ein System von Prinzipien dar, die potenziell zueinander in Konflikt stehen. Die Konflikte werden in einer strikten Hierarchie der Prinzipien aufgelöst. Wir zeigen, dass die Optimalit ätstheorie in vielen Dimension ein sehr viel restriktiveres Modell der Sprachkompetenz darstellt als ihre Konkurrenten. Auch sind im wesentlichen die Vorhersagen erfüllt, die sich aus der spezifischen Art der Konfliktlösung ergeben. Modifikationen scheinen im Bereich der Gradierung von Grammatikalit ät beim Problem der Ineffability geboten.
