MMSA

多模态情感分析任务的统一框架。

注意：我们强烈建议先浏览我们代码的整体结构。如果您需要任何进一步的信息，请随时与我们联系。

支持的型号

结果

详细结果显示在results/result-stat.md

用法

克隆代码

• 克隆这里 repo 并安装要求。如果需要，创建虚拟环境。

git clone https://github.com/thuiar/MMSA
cd MMSA
# conda create -n mmsa python=3.6
pip install -r requirements.txt

数据集和预训练的 bets

从以下链接下载数据集特征和预训练的 bets。

• 百度云盘附代码：ctgs
• 谷歌云盘

对于所有功能，您可以使用它SHA-1 Hash Value来检查一致性。

MOSI/unaligned_50.pkl: 5da0b8440fc5a7c3a457859af27458beb993e088
MOSI/aligned_50.pkl: 5c62b896619a334a7104c8bef05d82b05272c71c
MOSEI/unaligned_50.pkl: db3e2cff4d706a88ee156981c2100975513d4610
MOSEI/aligned_50.pkl: ef49589349bc1c2bc252ccc0d4657a755c92a056
SIMS/unaligned_39.pkl:a00c73e92f66896403c09dbad63e242d5af756f8

由于大小限制，仅提供 MOSEI 功能和 SIMS 原始视频Baidu Cloud Drive。所有数据集特征组织为：

{
    "train": {
        "raw_text": [],
        "audio": [],
        "vision": [],
        "id": [], # [video_id$_$clip_id, ..., ...]
        "text": [],
        "text_bert": [],
        "audio_lengths": [],
        "vision_lengths": [],
        "annotations": [],
        "classification_labels": [], # Negative(< 0), Neutral(0), Positive(> 0)
        "regression_labels": []
    },
    "valid": {***}, # same as the "train"
    "test": {***}, # same as the "train"
}

对于 MOSI 和 MOSEI，预提取的文本特征来自 BERT，与CMU-Multimodal-SDK中的原始手套特征不同。

对于 SIMS，如果您想从原始视频中提取特征，您需要先安装Openface Toolkits，然后参考我们在data/DataPre.py.

python data/DataPre.py --data_dir [path_to_Dataset] --language ** --openface2Path  [path_to_FeatureExtraction]

对于 bert 模型，您也可以从Google-Bert下载Bert-Base，中文。然后，使用transformers-cli将 tensorflow 转换为 pytorch

然后，修改config/config_*.py以更新数据集路径。

跑

python run.py --modelName *** --datasetName ***

纸

• CH-SIMS：具有细粒度模态注释的中文多模态情感分析数据集
• 用于多模态情感分析的自监督多任务学习的特定模态表示

如果您发现我们的工作对您的研究有用，请引用我们的论文：

@inproceedings{yu2020ch,
  title={CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotation of Modality},
  author={Yu, Wenmeng and Xu, Hua and Meng, Fanyang and Zhu, Yilin and Ma, Yixiao and Wu, Jiele and Zou, Jiyun and Yang, Kaicheng},
  booktitle={Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics},
  pages={3718--3727},
  year={2020}
}

@article{yu2021learning,
  title={Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis},
  author={Yu, Wenmeng and Xu, Hua and Yuan, Ziqi and Wu, Jiele},
  journal={arXiv preprint arXiv:2102.04830},
  year={2021}
}