TensorFlow源码解读02

Tensor、op相关

从api开始挖。然后再上升到框架。然后再topdown地整合。

友好小白。

1、Tensor\TensorShape

//创建tensor - constructor包含TensorShape
//TensorShape继承自Base ，constructor传入一个initializer_list
explicit TensorShapeBase(gtl::ArraySlice<int64> dim_sizes);

2、DeepCopy

//主要两个步骤 ，在tensor_utils中
//1 数据的memcpy -- 这里用到了string_view，use StringPiece as a convenient map over the tensor buffer
using StringPiece = absl::string_view;
StringPiece(static_cast<char*>(buf_->data()), TotalBytes());
memcpy(const_cast<char*>(output_data.data()), input_data.data(), input_data.size());

//2 类型 和 维度
output->unaligned_flat<Variant>() =input.unaligned_flat<Variant>();

//这里unaligned_flat，为unaligned_shaped<T, 1>({NumElements()});
//主要检查type ，用span来填充维度：FillDimsAndValidateCompatibleShape，添入Eigen的dims并返回Eigen的tensor

using ArraySlice = absl::Span<const T>;
typedef Eigen::TensorMap<Eigen::Tensor<T, NDIMS, Eigen::RowMajor, IndexType> >
      UnalignedTensor;

类似的操作如 slice concat split等不再赘述。

3、gtest

int main(int argc, char** argv) {
   std::vector<int> values_to_test = LoadValuesFromConfig();
   RegisterMyTests(values_to_test);
   ...
   return RUN_ALL_TESTS();
 }


//写法如
TEST(TensorProtoUtil, CompressTensorProtoInPlaceTooSmall) {
  const int kLength = 63;
  TensorProto tensor_proto =
      tensor::CreateTensorProto(std::vector<float>(kLength), {kLength});
  EXPECT_FALSE(tensor::CompressTensorProtoInPlace(&tensor_proto));
}

//CreateTensorProto的测试
auto proto = tensor::CreateTensorProto(values, shape);
EXPECT_EQ(proto.DebugString(),
          "dtype: DT_STRING\n"
          "tensor_shape {\n"
          "  dim {\n"
          "    size: 1\n"
          "  }\n"
          "  dim {\n"
          "    size: 3\n"
          "  }\n"
          "}\n"
          "string_val: \"a\"\n"
          "string_val: \"b\"\n"
          "string_val: \"c\"\n");

tensorflow 的test非常多，都是基于gtest框架。

4、CreateTensorProto

//同样两个部分，shape和value进行create。tensor_util.h中

//shape部分是protobuf相关操作
internal::SetTensorProtoShape(shape, &tensor_shape_proto);
//set的方式主要是：循环获得shapeproto中的RepeatedPtrField< ::tensorflow::TensorShapeProto_Dim >
// RepeatedPtrField is like RepeatedField, but used for repeated strings or Messages.
//获得后，再调用其Add方法，将shape的每一维 生成一个element并且set值
Element* Add();

//value用internal::TensorProtoHelper<Type> 中的AddValues这个static方法，把value中的值一个个加进proto
tensor.set_dtype(TypeHelper::GetDataType());
tensor.mutable_tensor_shape()->Swap(&tensor_shape_proto);
TypeHelper::AddValues(values.begin(), values.end(), &tensor);

还有诸如CompressTensorProtoInPlace（主要是CompressRepeatedField，核心两个阈值 static const int64 kDefaultMinNumElements = 64;static const float kDefaultMinCompressionRatio = 2.0f;）。

5、protobuf

//tensor、op、graph等的proto 涉及到很多protobuf操作，不赘述
//比如Arena中
auto* p = CreateMaybeMessage<::tensorflow::TensorShapeProto>(GetArenaNoVirtual());

6、OpRegistry

// The standard implementation of OpRegistryInterface, along with a
// global singleton used for registering ops via the REGISTER
// macros below.  Thread-safe.
//
// Example registration:
//   OpRegistry::Global()->Register(
//     [](OpRegistrationData* op_reg_data)->Status {
//       // Populate *op_reg_data here.
//       return Status::OK();
//   });

总结： 1、A `Span` is somewhat analogous to an `absl::string_view`, but for an array of elements of type `T`. A user of `Span` must ensure that the data being pointed to outlives the `Span` itself.

2、string_view

3、# ##

4、gtest

5、initializer_list

本文作者： yuqing wang
本文链接： https://satyrswang.github.io/2021/04/16/TensorFlow源码解读02/
版权声明： 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。转载请注明出处！

赏

thanks for tips

支付宝

微信