Feat: chunk overlap supported (#2209)

Co-authored-by: jyong <jyong@dify.ai>

web/i18n/lang/dataset-creation.en.ts

@@ -59,6 +59,9 @@ const translation = {
     separator: 'Segment identifier',
     separatorPlaceholder: 'For example, newline (\\\\n) or special separator (such as "***")',
     maxLength: 'Maximum chunk length',
+    overlap: 'Chunk overlap',
+    overlapTip: 'Setting the chunk overlap can maintain the semantic relevance between them, enhancing the retrieve effect. It is recommended to set 10%-25% of the maximum chunk size.',
+    overlapCheck: 'chunk overlap should not bigger than maximun chunk length',
     rules: 'Text preprocessing rules',
     removeExtraSpaces: 'Replace consecutive spaces, newlines and tabs',
     removeUrlEmails: 'Delete all URLs and email addresses',

web/i18n/lang/dataset-creation.pt.ts

@@ -59,6 +59,9 @@ const translation = {
     separator: 'Identificador de segmento',
     separatorPlaceholder: 'Por exemplo, nova linha (\\\\n) ou separador especial (como "***")',
     maxLength: 'Comprimento máximo do fragmento',
+    overlap: 'Sobreposição de blocos',
+    overlapTip: 'Configurar a sobreposição de blocos pode manter a relevância semântica entre eles, melhorando o efeito de recuperação. É recomendado definir de 10% a 25% do tamanho máximo do bloco.',
+    overlapCheck: 'a sobreposição de blocos não deve ser maior que o comprimento máximo do bloco',
     rules: 'Regras de pré-processamento de texto',
     removeExtraSpaces: 'Substituir espaços consecutivos, quebras de linha e tabulações',
     removeUrlEmails: 'Excluir todos os URLs e endereços de e-mail',

web/i18n/lang/dataset-creation.zh.ts

@@ -59,6 +59,9 @@ const translation = {
     separator: '分段标识符',
     separatorPlaceholder: '例如换行符（\n）或特定的分隔符（如 "***"）',
     maxLength: '分段最大长度',
+    overlap: '分段重叠长度',
+    overlapTip: '设置分段之间的重叠长度可以保留分段之间的语义关系，提升召回效果。建议设置为最大分段长度的10%-25%',
+    overlapCheck: '分段重叠长度不能大于分段最大长度',
     rules: '文本预处理规则',
     removeExtraSpaces: '替换掉连续的空格、换行符和制表符',
     removeUrlEmails: '删除所有 URL 和电子邮件地址',