ReaderMX.
王路在隐身

大模型的性别、阶层与宗教差异：三个反直观的发现

王王路在隐身约 23 分钟

这是我在给QWQ32B注入阿毗达磨知识的时候，顺手跑的一个代码（为了方便查看结果，所以只输出前10维，如果那时候知道要发出来，可能就设计细致一点了）。我把代码和结果扔给Claude和Grok，随便问了几个问题：1、是嵌入层的性别更不平等，还是输出层更不平等？如何解释这种差异？2、是皇室的性别角色更不平等，还是宗教的性别角色更不平等？还是平民的性别角色更不平等？如何解释差异？3、是中文的性别角色更不平等，还是英文？如何解释？

又：1、输出层“平滑了”极端的性别表示，你认为这是在大语料训练下自发的结果，还是人工干预的伦理对齐结果？换句话说：是开发者出于政治正确的原因调整了输出层，还是模型在学习下自然如此？也就是说，知识越多，越有性别的平等观？2、英文中，monk和nun都不具备独立的ID，而中文，不仅是独立ID，【宗教的性别角色在两个层次都相对温和】——这说明什么？3、【这些差异反映了语言模型在学习过程中捕捉到的社会文化中存在的性别角色刻板印象，不同语义域和不同语言中的表现方式各有特点。这种不平等并非模型本身的特性，而是对训练数据中已有社会现象的反映。】——你从数据中看到的，最反直观的3点结论是什么？（我想分享的主要是我提的问题而不是模型的解答。它们的解答没有太多意思，以至于我还有一些问题就懒得提了。但还是放上来。）

问完这些，我扔给它们一个题目（不是有意设计，所以很粗糙，但也懒得去细化它）：写一篇文章《大模型的性别、阶层与宗教差异》——先介绍实验设计方法，再分别展开讲你认为的最反直观的三点结论，最后总结，分为5部分。不要用二级标题。

一看到Claude开头用“近年来”，我就火了。回头看Grok，开头也是“近年来”，太烂了。我又让它们用B站科普风，依然拉胯。又让它们用平实、清晰的表达。放在后面的，是Claude写的。

另外，今天早上，我一口气发了3条朋友圈：

1、AI越智能，我就越觉得AI不智能。以前AI不智能的时候，我经常惊喜“AI这都会？”，现在用它解决具体的问题，倒是经常失望“AI这都不会？”解决具体问题和聊大天儿要求的智能是完全不一样的。我以前经常说，想象力是不值钱的东西，议论也是不值钱的东西。只有你没有别的，你才可以有想象力，只有你不会叙述不能做事你才偏爱议论。智能的体现不是告诉你这也可以那也可以，一下子想出来八个方案，而是告诉你这也不行，那也不行，以及为什么不行。好的写作者根本不是你随便给他个题目他都能写好，而是对于绝大多数选题，他看一眼就知道根本不可能写好，谁写都不行。AI不智能的体现就是经常给你一大堆解决方案，其实里面没有靠谱的，你得吭哧吭哧试一圈才知道AI并不知道深浅。什么时候AI能帮你排除不靠谱方案，而不是让你去排除它的不靠谱方案，AI就真智能了。这就是议论和做事的区别，也是想象力和hallucination的相同。

2、和智能物种相处让人舒服的一点，不是你让它做什么它就做什么，也不是你没提让它做什么它就知道主动做什么，而是你不需要反复告诫它不要做什么，它自然知道不要做什么。我让AI写代码，说的最多的一句话就是“不要写代码”“别着急写代码，先说说问题”。

3、我们那儿有句话，这样说小孩：“把大人的话当耳旁风！”现在，我理解这样的小孩了。觉得可以安慰家长：“别生气，他是人工智能。”

——我希望AI能写得风格跟我似的。但这其实不是风格的问题。

我把程序和代码也附在后面了，中间实在忍不住插了几句点评。模型是QWQ32B，我因为扩充了好几次词汇表，保存了各种不同的模型，自己用的时候改了很多名字。

# 语言模型中的性别表示：超越直觉的发现

## 研究背景与方法

近年来，随着大型语言模型的广泛应用，研究者们越来越关注这些模型中潜在的性别偏见问题。本研究通过分析一个双语（中英文）语言模型的词嵌入向量，探索了其中的性别表示模式。

研究方法主要包括以下步骤：

1. 从语言模型中提取嵌入层（model.embed_tokens.weight）和输出层（lm_head.weight）的权重

2. 选取中英文中具有明确性别对应关系的词对，如中文的"男/女"、"皇帝/皇后"、"僧/尼"、"儿子/女儿"，以及英文的"male/female"、"king/queen"、"son/daughter"

3. 比较这些词对在嵌入层和输出层中的向量表示差异

4. 计算不同性别对之间差异向量的余弦相似度

5. 分析词对之间的类比关系（如"皇帝-男"对比"皇后-女"）

通过这种方法，我们能够揭示语言模型如何在不同层级、不同语义域和不同语言中表示性别差异。

## 反直观发现一：中文"后代"词对中的性别差异超乎预期

### 数据支持

分析结果显示，在嵌入层中，中文"儿子/女儿"词对与基本性别词对"男/女"的差异向量相似度为-0.5440，远超其他语义类别：

- "皇室"（皇帝/皇后）与基本性别的相似度为-0.0942

- "宗教"（僧/尼）与基本性别的相似度为-0.0451

这个负相似度数值表明这两组词对的性别差异向量方向几乎相反，意味着"儿子"之于"女儿"的差异方式与"男"之于"女"的差异方式有很大不同。

### 分析解释

这一发现挑战了我们的普遍认知。通常，我们会直觉地认为皇室或宗教等传统制度中的性别角色差异应该最为显著，而家庭关系中的性别差异应相对较小。然而，数据却指向相反的结论。

这可能反映了中国文化中对男女后代的深刻差异化对待：

1. **传统家族观念**：中国传统文化中"传宗接代"的思想使得儿子和女儿在家族结构中承担着根本不同的角色和期望

2. **语言使用差异**：与"男/女"这样的基础性别词不同，"儿子/女儿"在日常语境中的使用方式可能有很大差别

3. **社会责任差异**：语料中可能反映了社会对男性和女性后代的不同期望和描述方式

（王路按：这根本没有挑战普遍认知……只能说明Claude太不了解人类社会……）

## 反直观发现二：英文性别表达比中文更为一致

### 数据支持

分析显示，英文性别差异向量之间的相似度模式明显更一致：

- 英文基本性别词（male/female）与皇室称号（king/queen）相似度高达0.4660

- 中文性别差异向量之间的相似度变化范围大（从-0.5440到0.4573）

特别是，英文皇室词对与基本性别词对之间展现出高度一致的性别差异模式，表明这些词对中的性别概念编码方式相似。

### 分析解释

这一发现令人惊讶，因为我们可能预期：

1. 中文作为表意文字，通过"女"字旁等形式明确标记性别，应该有更一致的性别表达

2. 中文文化中性别角色的概念应该有更系统化的语言表达

然而，数据表明英文中的性别表达模式实际上更加一致。这可能是因为：

1. **历史语言演变**：英文性别词汇可能经历了更系统化的演变，形成了更一致的模式

2. **文化表达差异**：西方文化对性别的概念化方式可能更加二元化和系统化

3. **语料分布影响**：训练语料中英文文本的性别表述可能更加统一和规范

4. **词汇系统差异**：中文性别词汇可能在不同语义域中有更多样化和情境化的表达方式

（王路按：这说明中国人的人际关系更复杂。《诗经》里面表示马表示羊的各种词汇都有一大堆，还有《红楼梦》里王熙凤激赏小红的一点，都可以和这个问题联系上。如果不是搞阿毗达磨，其实这个问题可以深入探讨。）

## 反直观发现三：输出层中皇室性别差异大于宗教性别差异

### 数据支持

在输出层中，词对的性别差异模式与嵌入层有明显不同：

- 皇室词对（皇帝/皇后）与基本性别词对的相似度为-0.3354

- 宗教词对（僧/尼）与基本性别词对的相似度为-0.0934

这表明在模型的输出表示中，皇室词汇中的性别差异比宗教词汇中的更为显著和不同。

### 分析解释

直觉上，我们可能认为宗教制度作为更传统和保守的领域，其性别角色应该有更明显的差异。然而，数据显示皇室词汇中的性别差异实际上更大，这可能因为：

1. **权力结构影响**：皇室词汇直接涉及政治权力的分配，因此性别差异可能更加突出和根本

2. **社会表征差异**：在语言使用中，对皇帝和皇后的描述可能反映了更强烈的性别角色定型观念

3. **历史语境差异**：皇室制度中的性别角色对比可能在历史叙事中被更加强化

4. **宗教中的平等因素**：佛教思想中可能包含一些相对平等的元素，使得僧侣和尼姑在职能描述上差异相对较小

## 综合启示

这些反直观的发现提醒我们，语言模型中的性别表示远比我们想象的更加复杂和多层次：

1. **语言≠现实**：语言中的性别差异模式不一定直接对应社会现实中的性别不平等程度，它们受到语言使用习惯、文化表达方式和历史语境的多重影响

2. **文化差异**：不同文化中的性别概念可能以截然不同的方式被语言编码，简单的跨文化比较可能误导我们的理解

3. **模型机制**：语言模型在不同层级处理信息的方式影响了性别表示，这可能反映了语言理解的不同阶段

这项研究也提醒我们在研究和应用语言模型时需要更细致地理解其中的性别表示机制，避免简单化的假设和解释。通过深入分析这些模式，我们不仅能更好地理解语言模型中的偏见问题，也能洞察语言如何反映和构建社会中的性别观念。

import osimport torchfrom safetensors.torch import load_fileimport jsonimport numpy as np
# 文件路径MODEL_DIR = "wl5"OUTPUT_DIR = "guowang"
# 加载embedding和output layersdef load_layers():    # 加载嵌入层    embedding_file = os.path.join(MODEL_DIR, "model-00001-of-00014.safetensors")    embedding_tensors = load_file(embedding_file)    embedding_layer = None
    # 找到嵌入层    embedding_key = None    for key in embedding_tensors:        if 'embed' in key and 'weight' in key:            embedding_key = key            embedding_layer = embedding_tensors[key]            break
    # 加载输出层    output_file = os.path.join(MODEL_DIR, "model-00014-of-00014.safetensors")    output_tensors = load_file(output_file)    output_layer = None
    # 找到输出层    output_key = None    for key in output_tensors:        if 'lm_head' in key or 'output' in key or 'out_proj' in key:            output_key = key            output_layer = output_tensors[key]            break
    print(f"嵌入层键名: {embedding_key}")    print(f"输出层键名: {output_key}")
    return embedding_layer, output_layer
# 分析向量def analyze_vectors(embedding_layer, output_layer):    # 定义中文性别对词汇及其ID    chinese_pairs = [        {"name": "基本性别", "male_word": "男", "male_id": 70108, "female_word": "女", "female_id": 57750},        {"name": "皇室", "male_word": "皇帝", "male_id": 104937, "female_word": "皇后", "female_id": 108595},        {"name": "宗教", "male_word": "僧", "male_id": 105967, "female_word": "尼", "female_id": 99685},        {"name": "后代", "male_word": "儿子", "male_id": 102067, "female_word": "女儿", "female_id": 102126}    ]
    # 定义英文性别对词汇及其ID    english_pairs = [        {"name": "基本性别", "male_word": "male", "male_id": 36476, "female_word": "female", "female_id": 42634},        {"name": "皇室", "male_word": "king", "male_id": 10566, "female_word": "queen", "female_id": 93114},        {"name": "后代", "male_word": "son", "male_id": 930, "female_word": "daughter", "female_id": 59778}    ]
    results = {        "chinese": {"embedding": {}, "output": {}},        "english": {"embedding": {}, "output": {}}    }
    # 处理中文词汇对    print("\n===== 分析中文词汇对 =====")    for pair in chinese_pairs:        pair_name = pair["name"]        male_word = pair["male_word"]        male_id = pair["male_id"]        female_word = pair["female_word"]        female_id = pair["female_id"]
        print(f"\n分析 {pair_name} 对: {male_word}({male_id}) - {female_word}({female_id})")
        # 嵌入层分析        male_embed = embedding_layer[male_id].detach().cpu().float().numpy()        female_embed = embedding_layer[female_id].detach().cpu().float().numpy()
        print(f"{male_word} 嵌入向量 (前10维): {male_embed[:10]}")        print(f"{female_word} 嵌入向量 (前10维): {female_embed[:10]}")
        # 输出层分析        male_output = output_layer[male_id].detach().cpu().float().numpy()        female_output = output_layer[female_id].detach().cpu().float().numpy()
        print(f"{male_word} 输出向量 (前10维): {male_output[:10]}")        print(f"{female_word} 输出向量 (前10维): {female_output[:10]}")
        # 保存结果        results["chinese"]["embedding"][pair_name] = {            "male": male_embed[:10].tolist(),            "female": female_embed[:10].tolist(),            "difference": (male_embed - female_embed)[:10].tolist()        }
        results["chinese"]["output"][pair_name] = {            "male": male_output[:10].tolist(),            "female": female_output[:10].tolist(),            "difference": (male_output - female_output)[:10].tolist()        }
    # 处理英文词汇对    print("\n===== 分析英文词汇对 =====")    for pair in english_pairs:        pair_name = pair["name"]        male_word = pair["male_word"]        male_id = pair["male_id"]        female_word = pair["female_word"]        female_id = pair["female_id"]
        print(f"\n分析 {pair_name} 对: {male_word}({male_id}) - {female_word}({female_id})")
        # 嵌入层分析        male_embed = embedding_layer[male_id].detach().cpu().float().numpy()        female_embed = embedding_layer[female_id].detach().cpu().float().numpy()
        print(f"{male_word} 嵌入向量 (前10维): {male_embed[:10]}")        print(f"{female_word} 嵌入向量 (前10维): {female_embed[:10]}")
        # 输出层分析        male_output = output_layer[male_id].detach().cpu().float().numpy()        female_output = output_layer[female_id].detach().cpu().float().numpy()
        print(f"{male_word} 输出向量 (前10维): {male_output[:10]}")        print(f"{female_word} 输出向量 (前10维): {female_output[:10]}")
        # 保存结果        results["english"]["embedding"][pair_name] = {            "male": male_embed[:10].tolist(),            "female": female_embed[:10].tolist(),            "difference": (male_embed - female_embed)[:10].tolist()        }
        results["english"]["output"][pair_name] = {            "male": male_output[:10].tolist(),            "female": female_output[:10].tolist(),            "difference": (male_output - female_output)[:10].tolist()        }
    # 计算类比关系    print("\n===== 计算类比关系 =====")
    # 中文类比: (专业词-男) - (专业词女性形式-女)    chinese_analogies = []    base_male_embed = embedding_layer[70108].detach().cpu().float().numpy()  # 男    base_female_embed = embedding_layer[57750].detach().cpu().float().numpy()  # 女
    for pair in chinese_pairs[1:]:  # 跳过基本性别对        pair_name = pair["name"]        male_id = pair["male_id"]        female_id = pair["female_id"]        male_word = pair["male_word"]        female_word = pair["female_word"]
        # 嵌入层类比        male_embed = embedding_layer[male_id].detach().cpu().float().numpy()        female_embed = embedding_layer[female_id].detach().cpu().float().numpy()
        analogy_embed = (male_embed - base_male_embed) - (female_embed - base_female_embed)
        # 输出层类比        male_output = output_layer[male_id].detach().cpu().float().numpy()        female_output = output_layer[female_id].detach().cpu().float().numpy()        base_male_output = output_layer[70108].detach().cpu().float().numpy()        base_female_output = output_layer[57750].detach().cpu().float().numpy()
        analogy_output = (male_output - base_male_output) - (female_output - base_female_output)
        print(f"\n中文类比 ({male_word}-男)-({female_word}-女):")        print(f"嵌入层类比结果 (前10维): {analogy_embed[:10]}")        print(f"输出层类比结果 (前10维): {analogy_output[:10]}")
        chinese_analogies.append({            "name": pair_name,            "formula": f"({male_word}-男)-({female_word}-女)",            "embedding": analogy_embed[:10].tolist(),            "output": analogy_output[:10].tolist()        })
    # 英文类比: (专业词-male) - (专业词女性形式-female)    english_analogies = []    base_male_embed = embedding_layer[36476].detach().cpu().float().numpy()  # male    base_female_embed = embedding_layer[42634].detach().cpu().float().numpy()  # female
    for pair in english_pairs[1:]:  # 跳过基本性别对        pair_name = pair["name"]        male_id = pair["male_id"]        female_id = pair["female_id"]        male_word = pair["male_word"]        female_word = pair["female_word"]
        # 嵌入层类比        male_embed = embedding_layer[male_id].detach().cpu().float().numpy()        female_embed = embedding_layer[female_id].detach().cpu().float().numpy()
        analogy_embed = (male_embed - base_male_embed) - (female_embed - base_female_embed)
        # 输出层类比        male_output = output_layer[male_id].detach().cpu().float().numpy()        female_output = output_layer[female_id].detach().cpu().float().numpy()        base_male_output = output_layer[36476].detach().cpu().float().numpy()        base_female_output = output_layer[42634].detach().cpu().float().numpy()
        analogy_output = (male_output - base_male_output) - (female_output - base_female_output)
        print(f"\n英文类比 ({male_word}-male)-({female_word}-female):")        print(f"嵌入层类比结果 (前10维): {analogy_embed[:10]}")        print(f"输出层类比结果 (前10维): {analogy_output[:10]}")
        english_analogies.append({            "name": pair_name,            "formula": f"({male_word}-male)-({female_word}-female)",            "embedding": analogy_embed[:10].tolist(),            "output": analogy_output[:10].tolist()        })
    # 计算所有中文性别差异向量的余弦相似度    print("\n===== 中文性别差异向量的相似度 =====")    chinese_diffs_embed = [np.array(results["chinese"]["embedding"][pair["name"]]["difference"]) for pair in chinese_pairs]    chinese_diffs_output = [np.array(results["chinese"]["output"][pair["name"]]["difference"]) for pair in chinese_pairs]
    for i, pair1 in enumerate(chinese_pairs):        for j, pair2 in enumerate(chinese_pairs):            if i < j:                # 嵌入层相似度                sim_embed = cosine_similarity(chinese_diffs_embed[i], chinese_diffs_embed[j])                # 输出层相似度                sim_output = cosine_similarity(chinese_diffs_output[i], chinese_diffs_output[j])
                print(f"{pair1['name']}差异 vs {pair2['name']}差异:")                print(f"  嵌入层相似度: {sim_embed:.4f}")                print(f"  输出层相似度: {sim_output:.4f}")
    # 计算所有英文性别差异向量的余弦相似度    print("\n===== 英文性别差异向量的相似度 =====")    english_diffs_embed = [np.array(results["english"]["embedding"][pair["name"]]["difference"]) for pair in english_pairs]    english_diffs_output = [np.array(results["english"]["output"][pair["name"]]["difference"]) for pair in english_pairs]
    for i, pair1 in enumerate(english_pairs):        for j, pair2 in enumerate(english_pairs):            if i < j:                # 嵌入层相似度                sim_embed = cosine_similarity(english_diffs_embed[i], english_diffs_embed[j])                # 输出层相似度                sim_output = cosine_similarity(english_diffs_output[i], english_diffs_output[j])
                print(f"{pair1['name']}差异 vs {pair2['name']}差异:")                print(f"  嵌入层相似度: {sim_embed:.4f}")                print(f"  输出层相似度: {sim_output:.4f}")
    # 返回完整结果    full_results = {        "pair_vectors": results,        "chinese_analogies": chinese_analogies,        "english_analogies": english_analogies    }
    return full_results
# 计算余弦相似度def cosine_similarity(v1, v2):    return np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
# 主函数def main():    print("加载嵌入层和输出层...")    embedding_layer, output_layer = load_layers()
    print("分析向量...")    results = analyze_vectors(embedding_layer, output_layer)
    # 保存结果到文件    os.makedirs(OUTPUT_DIR, exist_ok=True)  # 确保输出目录存在    output_file = os.path.join(OUTPUT_DIR, "gender_pairs_analysis.txt")
    with open(output_file, "w", encoding="utf-8") as f:        # 写入中文词对结果        f.write("============ 中文词对分析 ============\n\n")
        # 嵌入层结果        f.write("===== 嵌入层结果 =====\n\n")        for pair_name, data in results["pair_vectors"]["chinese"]["embedding"].items():            f.write(f"{pair_name}对:\n")            f.write(f"  男性词向量 (前10维): {data['male']}\n")            f.write(f"  女性词向量 (前10维): {data['female']}\n")            f.write(f"  差异向量 (前10维): {data['difference']}\n\n")
        # 输出层结果        f.write("===== 输出层结果 =====\n\n")        for pair_name, data in results["pair_vectors"]["chinese"]["output"].items():            f.write(f"{pair_name}对:\n")            f.write(f"  男性词向量 (前10维): {data['male']}\n")            f.write(f"  女性词向量 (前10维): {data['female']}\n")            f.write(f"  差异向量 (前10维): {data['difference']}\n\n")
        # 写入英文词对结果        f.write("============ 英文词对分析 ============\n\n")
        # 嵌入层结果        f.write("===== 嵌入层结果 =====\n\n")        for pair_name, data in results["pair_vectors"]["english"]["embedding"].items():            f.write(f"{pair_name}对:\n")            f.write(f"  男性词向量 (前10维): {data['male']}\n")            f.write(f"  女性词向量 (前10维): {data['female']}\n")            f.write(f"  差异向量 (前10维): {data['difference']}\n\n")
        # 输出层结果        f.write("===== 输出层结果 =====\n\n")        for pair_name, data in results["pair_vectors"]["english"]["output"].items():            f.write(f"{pair_name}对:\n")            f.write(f"  男性词向量 (前10维): {data['male']}\n")            f.write(f"  女性词向量 (前10维): {data['female']}\n")            f.write(f"  差异向量 (前10维): {data['difference']}\n\n")
        # 写入类比结果        f.write("============ 类比分析 ============\n\n")
        # 中文类比        f.write("===== 中文类比结果 =====\n\n")        for analogy in results["chinese_analogies"]:            f.write(f"{analogy['name']}类比 {analogy['formula']}:\n")            f.write(f"  嵌入层类比结果 (前10维): {analogy['embedding']}\n")            f.write(f"  输出层类比结果 (前10维): {analogy['output']}\n\n")
        # 英文类比        f.write("===== 英文类比结果 =====\n\n")        for analogy in results["english_analogies"]:            f.write(f"{analogy['name']}类比 {analogy['formula']}:\n")            f.write(f"  嵌入层类比结果 (前10维): {analogy['embedding']}\n")            f.write(f"  输出层类比结果 (前10维): {analogy['output']}\n\n")
    print(f"结果已保存到 {output_file}")
if __name__ == "__main__":    main()
加载嵌入层和输出层...嵌入层键名: model.embed_tokens.weight输出层键名: lm_head.weight分析向量...
===== 分析中文词汇对 =====
分析 基本性别 对: 男(70108) - 女(57750)男 嵌入向量 (前10维): [-0.0133667  -0.02893066  0.00558472  0.02185059  0.02636719  0.00689697 -0.0025177  -0.01519775 -0.00305176  0.03320312]女 嵌入向量 (前10维): [-0.03564453 -0.0043335  -0.00778198 -0.00234985  0.00473022  0.00460815 -0.00025558  0.00334167 -0.04516602  0.01293945]男 输出向量 (前10维): [ 0.02722168  0.0201416   0.02233887  0.02038574 -0.00036812  0.01416016 -0.02661133  0.00619507 -0.03173828  0.02819824]女 输出向量 (前10维): [ 0.0246582   0.00112152  0.02246094  0.03015137  0.02233887  0.03979492 -0.01977539  0.00185394 -0.0324707  -0.00836182]
分析 皇室 对: 皇帝(104937) - 皇后(108595)皇帝 嵌入向量 (前10维): [ 0.00127411 -0.01293945 -0.02990723  0.01312256 -0.02722168  0.01556396 -0.00982666  0.01342773 -0.01013184 -0.00205994]皇后 嵌入向量 (前10维): [-0.03613281 -0.00291443  0.01574707 -0.01855469  0.03881836  0.0067749  0.01086426  0.01672363  0.01269531 -0.01977539]皇帝 输出向量 (前10维): [ 0.00421143  0.03710938 -0.00068283  0.01281738  0.01550293  0.02661133 -0.02050781 -0.01904297 -0.00848389 -0.02905273]皇后 输出向量 (前10维): [ 0.01068115  0.01409912  0.00125122 -0.00119019  0.0222168  -0.00157166 -0.03112793  0.01403809 -0.0546875  -0.00408936]
分析 宗教 对: 僧(105967) - 尼(99685)僧 嵌入向量 (前10维): [-9.1552734e-03  1.1474609e-02 -3.1250000e-02 -1.6967773e-02  4.2480469e-02  3.7597656e-02  1.7333984e-02  8.2969666e-05 -2.0874023e-02  1.8798828e-02]尼 嵌入向量 (前10维): [-0.01611328  0.00500488 -0.0018692  -0.00866699  0.00744629  0.00448608 -0.02404785  0.00778198  0.00714111 -0.01245117]僧 输出向量 (前10维): [ 0.02001953 -0.00823975  0.00081253  0.00946045  0.05737305  0.02661133  0.02758789  0.04492188  0.00245667  0.00588989]尼 输出向量 (前10维): [ 2.6245117e-03 -5.5074692e-05  2.7160645e-03  9.5825195e-03 -2.9296875e-03  1.7211914e-02  1.1108398e-02 -2.3956299e-03 -1.5258789e-04 -2.6245117e-02]
分析 后代 对: 儿子(102067) - 女儿(102126)儿子 嵌入向量 (前10维): [-0.00379944  0.02148438 -0.02490234  0.01647949 -0.00549316 -0.00268555 -0.01281738  0.0008316  -0.0612793  -0.0246582 ]女儿 嵌入向量 (前10维): [-0.0189209  -0.01599121 -0.04101562  0.00689697  0.04248047  0.0111084  0.02331543  0.0062561  -0.01141357 -0.00372314]儿子 输出向量 (前10维): [ 0.02148438  0.00184631  0.00460815  0.01928711  0.02990723  0.00823975  0.00524902 -0.00927734  0.00491333  0.01019287]女儿 输出向量 (前10维): [ 0.01794434 -0.00805664 -0.00570679  0.0324707   0.01794434  0.03710938 -0.01470947  0.01312256 -0.00799561  0.00668335]
===== 分析英文词汇对 =====
分析 基本性别 对: male(36476) - female(42634)male 嵌入向量 (前10维): [-0.02429199 -0.00836182 -0.00439453 -0.01226807  0.00830078  0.00854492 -0.00518799  0.03344727  0.00323486 -0.0378418 ]female 嵌入向量 (前10维): [-0.03637695  0.0072937  -0.01208496 -0.01806641  0.00897217  0.01135254  0.01843262  0.01165771 -0.02807617  0.01464844]male 输出向量 (前10维): [ 0.00396729  0.00787354  0.01757812  0.03833008  0.0402832   0.01550293  0.00141907 -0.00897217  0.00332642  0.01867676]female 输出向量 (前10维): [ 0.00363159  0.01037598  0.00439453  0.00515747  0.02294922  0.02648926 -0.02502441 -0.00375366  0.00726318  0.02770996]
分析 皇室 对: king(10566) - queen(93114)king 嵌入向量 (前10维): [-0.02233887  0.00946045 -0.01782227  0.02563477 -0.00096512 -0.0098877 -0.01940918  0.02062988  0.00805664 -0.02722168]queen 嵌入向量 (前10维): [-0.04199219  0.00343323 -0.00546265  0.00378418  0.00689697  0.05151367 -0.00610352  0.00280762 -0.01843262 -0.01196289]king 输出向量 (前10维): [-0.03833008  0.01037598 -0.00653076  0.02075195  0.00646973 -0.00915527  0.02844238  0.00457764  0.00750732 -0.04614258]queen 输出向量 (前10维): [-2.4414062e-02 -5.0354004e-03  1.1291504e-02  3.3203125e-02 -2.0446777e-03  1.3916016e-02  8.9721680e-03 -4.3869019e-05 -1.9165039e-02 -7.3852539e-03]
分析 后代 对: son(930) - daughter(59778)son 嵌入向量 (前10维): [-0.03393555 -0.01599121  0.04614258  0.03979492 -0.04125977 -0.00506592  0.0279541  -0.00095749  0.01904297  0.0177002 ]daughter 嵌入向量 (前10维): [ 0.00156403 -0.00335693  0.01153564  0.0213623   0.02478027 -0.00285339 -0.00209045  0.00891113 -0.02282715  0.01153564]son 输出向量 (前10维): [-0.0078125   0.0088501   0.0003624  -0.00595093 -0.04150391  0.00314331  0.0177002  -0.00518799 -0.01904297  0.0100708 ]daughter 输出向量 (前10维): [ 0.00111389 -0.01965332 -0.00561523  0.00405884  0.01806641  0.02954102  0.01196289 -0.00723267 -0.01043701  0.00872803]
===== 计算类比关系 =====
中文类比 (皇帝-男)-(皇后-女):嵌入层类比结果 (前10维): [ 0.01512909  0.01457214 -0.059021    0.00747681 -0.087677    0.00650024 -0.0184288   0.01524353 -0.06494141 -0.00254822]输出层类比结果 (前10维): [-0.0090332   0.00399017 -0.00181198  0.02377319  0.01599312  0.05381775  0.01745605 -0.03742218  0.04547119 -0.06152344]
中文类比 (僧-男)-(尼-女):嵌入层类比结果 (前10维): [-0.01531982  0.03106689 -0.0427475  -0.03250122  0.01339722  0.03082275  0.04364395  0.01084042 -0.07012939  0.01098633]输出层类比结果 (前10维): [ 0.01483154 -0.02720475 -0.00178146  0.00964355  0.08300972  0.03503418  0.02331543  0.04297638  0.00187683 -0.00442505]
中文类比 (儿子-男)-(女儿-女):嵌入层类比结果 (前10维): [-0.00715637  0.06207275  0.00274658 -0.01461792 -0.0696106  -0.01608276 -0.0338707   0.01311493 -0.09197998 -0.04119873]输出层类比结果 (前10维): [ 0.00097656 -0.00911713  0.01043701 -0.00341797  0.03466988 -0.00323486  0.02679443 -0.02674103  0.01217651 -0.03305054]
英文类比 (king-male)-(queen-female):嵌入层类比结果 (前10维): [ 0.00756836  0.02168274 -0.02005005  0.01605225 -0.0071907  -0.05859375  0.01031494 -0.00396729 -0.00482178  0.03723145]输出层类比结果 (前10维): [-0.01425171  0.01791382 -0.03100586 -0.04562378 -0.00881958 -0.01208496 -0.00697327  0.00984001  0.03060913 -0.02972412]
英文类比 (son-male)-(daughter-female):嵌入层类比结果 (前10维): [-0.04758453  0.00302124  0.0269165   0.01263428 -0.06536865  0.00059509  0.05366516 -0.03165817  0.01055908  0.05865479]输出层类比结果 (前10维): [-0.00926208  0.03100586 -0.00720596 -0.04318237 -0.0769043  -0.01541138 -0.02070618  0.00726318 -0.00466919  0.01037598]
===== 中文性别差异向量的相似度 =====基本性别差异 vs 皇室差异:  嵌入层相似度: -0.0942  输出层相似度: -0.3354基本性别差异 vs 宗教差异:  嵌入层相似度: -0.0451  输出层相似度: -0.0934基本性别差异 vs 后代差异:  嵌入层相似度: -0.5440  输出层相似度: 0.2558皇室差异 vs 宗教差异:  嵌入层相似度: -0.0459  输出层相似度: -0.3845皇室差异 vs 后代差异:  嵌入层相似度: 0.4573  输出层相似度: 0.1538宗教差异 vs 后代差异:  嵌入层相似度: -0.3939  输出层相似度: -0.0398
===== 英文性别差异向量的相似度 =====基本性别差异 vs 皇室差异:  嵌入层相似度: 0.4660  输出层相似度: 0.1381基本性别差异 vs 后代差异:  嵌入层相似度: 0.0350  输出层相似度: -0.2460皇室差异 vs 后代差异:  嵌入层相似度: 0.0370  输出层相似度: 0.1110结果已保存到 guowang/gender_pairs_analysis.txt

KEEP THE THREAD GOING

更多来源文章