AI 前沿发展摘要

AI 前沿发展摘要

1⃣️ ChatScene: 一句话生成自动驾驶关键场景

主要功能:

• Chat Scene 能够在CARLA仿真环境中创建多样化和复杂的场景, 有效地弥合了交通场景文本描述和CARLA实际仿真之间的鸿沟

  效果:

  • 通过使用生成的安全关键场景来微调不同的基于RL的自动驾驶模型，可以实现9%的碰撞率降低，超过了当前的SOTA方法.

    https://github.com/javyduck/ChatScene

    2⃣️ LlamaFS：基于Llama 3的自动文件分类整理工具

    主要功能

    • 文件自动重命名和分类：LlamaFS 会根据文件内容自动给文件起名字，并把它们放到合适的文件夹里。
    • 隐私保护：有“隐身模式”，保证你的文件不会被泄露。
    • 用户友好界面：提供一个易用的界面，你可以在应用建议的整理方案前进行调整。

      https://github.com/iyaja/llama-fs

      3⃣️ Open-Sora 1.1

      特点: 使用了更高质量的视觉数据和字幕训练, 现在Open-Sora 1.1能够 能够生成最长约21秒的视频。

      https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.1.0.md

      https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

      https://x.com/imxiaohu/status/1795029912224412082

      4️⃣ Octopus-V4-3B

      一款先进的开源语言模型，拥有30亿参数，能够高效地将用户查询转换成专业模型可以有效处理的格式。

      特点:

      • 紧凑尺寸：Octopus-V4-3B 体积紧凑，使其能在智能设备上高效、迅速地运行。
      • 准确性：Octopus-V4-3B 利用functional token设计准确地将用户查询映射到专业模型，提高了其精度。
      • 查询重格式化：Octopus-V4-3B 帮助将自然人类语言转换为更专业的格式，改善了查询描述，从而获得更准确的响应。

        试用Octopus v4模型: https://huggingface.co/NexaAIDev/Octopus-v4

        https://github.com/NexaAI/octopus-v4

        论文: Octopus v4: Graph of language models

        5⃣️ Stability AI 推出Stable Assistant聊天机器人

        主要功能:

        • 文字聊天：利用Stable LM 2 12B模型，可以帮助撰写博客文章、编辑剧本或生成图片的说明文字。
        • 图像生成：使用Stable Diffusion 3模型，将想法转化为高质量的图像，支持多主题提示、图像质量提升和拼写能力改进。
        • 视频生成：将文本或图像转化为引人入胜的视频内容。
        • 图像服务：包括搜索和替换、背景移除、创意放大、结构控制、外绘和草图功能。
        • 搜索和替换：在图像中查找并替换特定内容
        • 背景移除：移除图像背景以突出主体
        • 创意放大：放大图像以提升细节和清晰度
        • 结构控制：调整图像结构以达到预期效果
        • 外绘：在现有图像基础上添加内容
        • 草图功能：将草图转化为高质量图像