[Docs] Update docs for ERNIEBot 4.0

Author: juncaipeng

.pre-commit-config.yaml

@@ -16,29 +16,14 @@ repos:
     -   id: check-symlinks
     -   id: check-added-large-files
 
--   repo: local
+-   repo: https://github.com/Lucas-C/pre-commit-hooks
+    rev: v1.0.1
     hooks:
-    -   id: copyright_checker
-        name: copyright_checker
-        entry: python ./.copyright.hook
-        language: system
-        files: \.(c|cc|cxx|cpp|cu|h|hpp|hxx|proto|py)$
-        exclude: (?!.*third_party)^.*$
-
--   repo: local
-    hooks:
-    -   id: clang-format-with-version-check
-        name: clang-format
-        description: Format files with ClangFormat.
-        entry: bash .clang_format.hook -i
-        language: system
-        files: \.(c|cc|cxx|cpp|cu|hxx|proto)$
-
--   repo: local
-    hooks:
-    -   id: cpplint-cpp-source
-        name: cpplint
-        description: Check C++ code style using cpplint.py.
-        entry: bash .cpplint_pre_commit.hook
-        language: system
-        files: \.(c|cc|cxx|cpp|cu|h|hpp|hxx)$
+    -   id: forbid-crlf
+        files: \.md$
+    -   id: remove-crlf
+        files: \.md$
+    -   id: forbid-tabs
+        files: \.md$
+    -   id: remove-tabs
+        files: \.md$

README.md

@@ -34,6 +34,7 @@ models = erniebot.Model.list()
 print(models)
 # ernie-bot             文心一言旗舰版
 # ernie-bot-turbo       文心一言轻量版
+# ernie-bot-4           基于文心大模型4.0版本的文心一言
 # ernie-text-embedding  文心百中语义模型
 # ernie-vilg-v2         文心一格模型
 
@@ -72,7 +73,7 @@ erniebot api image.create --model ernie-vilg-v2 --prompt "画一只驴肉火烧"
 
 ### 对话补全（Chat Completion）
 
-ERNIE Bot SDK提供具备对话补全能力的文心一言旗舰版模型ernie-bot和文心一言迅捷版模型ernie-bot-turbo。
+ERNIE Bot SDK提供具备对话补全能力的文心一言旗舰版模型ernie-bot、文心一言迅捷版模型ernie-bot-turbo以及基于文心大模型4.0版本的文心一言ernie-bot-4。
 
 旗舰版模型的效果更好，迅捷版模型的响应速度更快、推理时延更低，大家可以根据实际场景的需求选择合适的模型。
 

docs/README.md

@@ -25,6 +25,7 @@ models = erniebot.Model.list()
 print(models)
 # ernie-bot             文心一言旗舰版
 # ernie-bot-turbo       文心一言轻量版
+# ernie-bot-4           基于文心大模型4.0版本的文心一言
 # ernie-text-embedding  文心百中语义模型
 # ernie-vilg-v2         文心一格模型
 
@@ -63,7 +64,7 @@ erniebot api image.create --model ernie-vilg-v2 --prompt "画一只驴肉火烧"
 
 ### 对话补全（Chat Completion）
 
-ERNIE Bot SDK提供具备对话补全能力的文心一言旗舰版模型ernie-bot和文心一言迅捷版模型ernie-bot-turbo。
+ERNIE Bot SDK提供具备对话补全能力的文心一言旗舰版模型ernie-bot、文心一言迅捷版模型ernie-bot-turbo以及基于文心大模型4.0版本的文心一言ernie-bot-4。
 
 旗舰版模型的效果更好，迅捷版模型的响应速度更快、推理时延更低，大家可以根据实际场景的需求选择合适的模型。
 

docs/api_reference/chat_completion.md

@@ -13,9 +13,9 @@ erniebot.ChatCompletion.create(**kwargs: Any)
 
 | 参数名 | 类型 | 必填 | 描述 |
 | :--- | :--- | :------- | :---- |
-| model | str | 是 | 模型名称。当前支持`'ernie-bot'`和`'ernie-bot-turbo'`。 |
+| model | str | 是 | 模型名称。当前支持`'ernie-bot'`、`'ernie-bot-turbo'`和`'ernie-bot-4'`。 |
 | messages | list[dict] | 是 | 对话上下文信息。列表中的元素个数须为奇数。详见[`messages`](#messages)。 |
-| functions | list[dict] | 否 | 可触发函数的描述列表。详见[`functions`](#functions)。`ernie-bot-turbo`模型暂不支持此参数。 |
+| functions | list[dict] | 否 | 可触发函数的描述列表。详见[`functions`](#functions)。ernie-bot-turbo模型暂不支持此参数。 |
 | top_p | float | 否 | 生成环节在概率加和为`top_p`以内的top token集合内进行采样： <br>(1) 影响输出文本的多样性，取值越大，生成文本的多样性越强； <br>(2) 默认`0.8`，取值范围为`[0, 1.0]`； <br>(3) 建议此参数和temperature只设置其中一个。 |
 | temperature | float | 否 | 采样环节的参数，用于控制随机性。 <br>(1) 较高的数值会使输出更加随机，而较低的数值会使其更加集中和确定； <br>(2) 默认`0.95`，范围为`(0, 1.0]`，不能为`0`； <br>(3) 建议此参数和`top_p`只设置其中一个。 |
 | penalty_score | float | 否 | 通过对已生成的token增加惩罚，减少重复生成的现象，值越高则惩罚越大。 <br>(1) 值越大表示惩罚越大； <br>(2) 默认`1.0`，取值范围：`[1.0, 2.0]`。 |

docs/authentication.md

@@ -6,8 +6,8 @@ ERNIE Bot SDK支持多个后端来调用文心大模型（如下表格），大
 
 | 后端 | API_TYPE  | 支持的模型 |
 | :--- | :---- | :--- |
-| AI Studio | aistudio | ernie-bot，ernie-bot-turbo，ernie-text-embedding |
-| 千帆大模型平台 | qianfan | ernie-bot，ernie-bot-turbo，ernie-text-embedding |
+| AI Studio | aistudio | ernie-bot，ernie-bot-turbo，ernie-bot-4，ernie-text-embedding |
+| 千帆大模型平台 | qianfan | ernie-bot，ernie-bot-turbo，ernie-bot-4，ernie-text-embedding |
 | 智能创作平台 | yinian | ernie-vilg-v2 |
 
 ## 1 AI Studio后端的认证鉴权

docs/guides/chat_completion.md

@@ -38,12 +38,13 @@
 
 ![pic3](https://bce.bdstatic.com/doc/ai-cloud-share/WENXINWORKSHOP/image_edb718d.png)
 
-目前文心提供如下两种生成式对话模型，
+目前文心提供如下几种生成式对话模型：
 
 | 模型 | 说明 | API调用方式 |
 | :--- | :--- | :----- |
-| ernie-bot | 具备最优的知识增强和生成能力，在文本创作、问答、推理和代码生成等方面表现出色。 |`erniebot.ChatCompletion.create(model='ernie-bot', ...)` |
-| ernie-bot-turbo | 具备更快的响应速度和学习能力，API调用成本更低。 | `erniebot.ChatCompletion.create(model='ernie-bot-turbo', ...)`|
+| ernie-bot | 具备优秀的知识增强和内容生成能力，在文本创作、问答、推理和代码生成等方面表现出色。 |`erniebot.ChatCompletion.create(model='ernie-bot', ...)` |
+| ernie-bot-turbo | 具备更快的响应速度和学习能力，API调用成本更低。 | `erniebot.ChatCompletion.create(model='ernie-bot-turbo', ...)` |
+| ernie-bot-4 | 基于文心大模型4.0版本的文心一言，具备目前文心一言系列模型中最优的理解和生成能力。 ｜ `erniebot.ChatCompletion.create(model='ernie-bot-turbo', ...)` |
 
 参阅[ChatCompletion API文档](../api_reference/chat_completion.md)了解API的完整使用方式。
 
@@ -55,7 +56,7 @@
 
 ### 模型的输入输出有什么限制？
 
-ernie-bot与ernie-bot-turbo模型对于输入和输出的token数量会有限制，通常情况下输入的token数量不能超过3072，输出的token数量不会超过1024。当输入的token数量超过限制时，会有以下几种情况：
+文心一言模型对于输入和输出的token数量会有限制，通常情况下输入的token数量不能超过3072，输出的token数量不会超过1024。当输入的token数量超过限制时，会有以下几种情况：
 
 * 单轮对话下，用户发送的文本超出输入限制，会直接返回错误；
 * 多轮对话下，用户发送的文本，如若最近一次用户文本超出输入限制，会直接返回错误；如若最近一次用户文本没有超出限制，则模型服务会在拼接历史信息时最多拼接到相应的token数上限，并丢弃多余的历史信息。

erniebot/intro.py

@@ -26,6 +26,7 @@ def list() -> List[Tuple[str, str]]:
         return [
             ('ernie-bot', "文心一言旗舰版"),
             ('ernie-bot-turbo', "文心一言轻量版"),
+            ('ernie-bot-4', "基于文心大模型4.0版本的文心一言"),
             ('ernie-text-embedding', "文心百中语义模型"),
             ('ernie-vilg-v2', "文心一格模型"),
         ]

erniebot/resources/chat_completion.py

@@ -21,9 +21,7 @@
 from erniebot.api_types import APIType
 from erniebot.response import EBResponse
 from erniebot.types import (FilesType, HeadersType, ParamsType, ResponseT)
-from erniebot.utils.logging import logger
 from erniebot.utils.misc import transform
-from erniebot.utils.token_helper import approx_num_tokens
 from .abc import Creatable
 from .resource import EBResource
 
@@ -131,10 +129,6 @@ def _set_val_if_key_exists(src: dict, dst: dict, key: str) -> None:
             if top_p < 0. or top_p > 1.:
                 raise errors.InvalidArgumentError(
                     "`top_p` must be in the range [0, 1].")
-            if 'temperature' in params:
-                logger.warning(
-                    "It is not recommended to specify both `temperature` and `top_p`."
-                )
             params['top_p'] = top_p
         if 'penalty_score' in kwargs:
             penalty_score = kwargs['penalty_score']
@@ -168,11 +162,10 @@ def _set_val_if_key_exists(src: dict, dst: dict, key: str) -> None:
         return url, params, headers, files, stream, request_timeout
 
     def _postprocess_create(self, resp: ResponseT) -> ResponseT:
-        return transform(ChatResponse.from_response, resp)
+        return transform(ChatResponse.from_mapping, resp)
 
     @classmethod
     def _validate_messages(cls, messages: List[dict]) -> None:
-        # TODO: Optionally check the total number of tokens
         if len(messages) % 2 != 1:
             raise errors.InvalidArgumentError(
                 "`messages` must have an odd number of elements.")
@@ -195,9 +188,6 @@ def _validate_messages(cls, messages: List[dict]) -> None:
                 if 'name' not in message:
                     raise errors.InvalidArgumentError(
                         f"Message {idx} does not contain the function name.")
-        if approx_num_tokens(messages[-1]['content']) > 3000:
-            raise errors.InvalidArgumentError(
-                f"The last message has more than 3000 tokens.")
 
     @classmethod
     def _validate_functions(cls, functions: List[dict]) -> None:

erniebot/resources/chat_file.py

@@ -76,4 +76,4 @@ def _prepare_create(self,
         return url, params, headers, files, stream, request_timeout
 
     def _postprocess_create(self, resp: ResponseT) -> ResponseT:
-        return transform(ChatResponse.from_response, resp)
+        return transform(ChatResponse.from_mapping, resp)

erniebot/resources/embedding.py

@@ -110,7 +110,7 @@ def _set_val_if_key_exists(src: dict, dst: dict, key: str) -> None:
         return url, params, headers, files, stream, request_timeout
 
     def _postprocess_create(self, resp: ResponseT) -> ResponseT:
-        return transform(EmbeddingResponse.from_response, resp)
+        return transform(EmbeddingResponse.from_mapping, resp)
 
 
 class EmbeddingResponse(EBResponse):

erniebot/resources/fine_tuning.py

@@ -80,7 +80,7 @@ def _prepare_create(self,
         return url, params, headers, files, stream, request_timeout
 
     def _postprocess_create(self, resp: ResponseT) -> ResponseT:
-        return transform(FineTuningResponse.from_response, resp)
+        return transform(FineTuningResponse.from_mapping, resp)
 
 
 class FineTuningJob(EBResource, Creatable, Queryable, Cancellable):
@@ -170,7 +170,7 @@ def _get_required_arg(key: str) -> Any:
         return url, params, headers, files, stream, request_timeout
 
     def _postprocess_create(self, resp: ResponseT) -> ResponseT:
-        return transform(FineTuningResponse.from_response, resp)
+        return transform(FineTuningResponse.from_mapping, resp)
 
     def _prepare_query(self,
                        kwargs: Dict[str, Any]) -> Tuple[str,
@@ -217,7 +217,7 @@ def _prepare_query(self,
         return url, params, headers, request_timeout
 
     def _postprocess_query(self, resp: EBResponse) -> EBResponse:
-        return FineTuningResponse.from_response(resp)
+        return FineTuningResponse.from_mapping(resp)
 
     def _prepare_cancel(self,
                         kwargs: Dict[str, Any]) -> Tuple[str,
@@ -264,7 +264,7 @@ def _prepare_cancel(self,
         return url, params, headers, request_timeout
 
     def _postprocess_cancel(self, resp: EBResponse) -> EBResponse:
-        return FineTuningResponse.from_response(resp)
+        return FineTuningResponse.from_mapping(resp)
 
 
 class FineTuningResponse(EBResponse):

erniebot/resources/image.py

@@ -303,7 +303,7 @@ def _prepare_fetch(self, resp_p: EBResponse) -> Tuple[str,
         return url, params, headers
 
     def _postprocess(self, resp_f: EBResponse) -> EBResponse:
-        return ImageV2Response.from_response(resp_f)
+        return ImageV2Response.from_mapping(resp_f)
 
     @staticmethod
     def _check_status(resp: EBResponse) -> bool:

erniebot/response.py

@@ -62,11 +62,8 @@ def __init__(self,
             self._update_from_dict(rbody)
 
     @classmethod
-    def from_response(cls, response: 'EBResponse') -> Self:
-        resp_type = response.__class__
-        if resp_type is not EBResponse:
-            raise TypeError(f"`response` has type `{resp_type.__name__}`.")
-        return cls(response.rcode, response.rbody, response.rheaders)
+    def from_mapping(cls, mapping: Mapping) -> Self:
+        return cls(mapping['rcode'], mapping['rbody'], mapping['rheaders'])
 
     def __getitem__(self, key: str) -> Any:
         if key in self._dict: